特許ウォッチ

公開番号2025134356
公報種別公開特許公報(A)
公開日2025-09-17
出願番号2024032207
出願日2024-03-04
発明の名称骨格検出装置、行動予測装置、車両及び骨格検出プログラム
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G08G 1/16 20060101AFI20250909BHJP(信号)
要約【課題】処理負荷と必要な骨格検出精度(必要なキーポイント数)とのバランスを適正化する。
【解決手段】骨格検出装置は、検出されるキーポイント数が互いに異なる複数の骨格検出モデルを有する。骨格検出装置は、複数の対象物の像を含む入力画像(IN)の画像データに基づき入力画像における各対象物のキーポイントを複数の骨格検出モデルを用いて検出する。骨格検出装置は、入力画像の画像データに基づき各対象物に対して優先度を設定し、優先度の設定結果に基づき各対象物を複数の骨格検出モデルの何れかに割り当てる。
【選択図】図8
特許請求の範囲【請求項１】
検出されるキーポイント数が互いに異なる複数の骨格検出モデルを有し、複数の対象物の像を含む入力画像の画像データに基づき前記入力画像における各対象物のキーポイントを前記複数の骨格検出モデルを用いて検出する骨格検出装置であって、
前記入力画像の画像データに基づき各対象物に対して優先度を設定し、前記優先度の設定結果に基づき各対象物を前記複数の骨格検出モデルの何れかに割り当てる
、骨格検出装置。
続きを表示（約 1,900 文字）【請求項２】
前記複数の骨格検出モデルは第１骨格検出モデル及び第２骨格検出モデルを含み、前記第１骨格検出モデルにて検出されるキーポイント数は前記第２骨格検出モデルにて検出されるキーポイント数よりも大きく、
前記複数の対象物の内、相対的に高い優先度が設定された対象物を、相対的に低い優先度が設定された対象物よりも、優先して前記第１骨格検出モデルに割り当てる
、請求項１に記載の骨格検出装置。
【請求項３】
車両に設置されたカメラの撮影画像を前記入力画像として取得し、
前記入力画像における各対象物の位置、前記入力画像における各対象物のサイズ、及び、前記車両の走行状態に基づき、各対象物に対して前記優先度を設定する
、請求項１又は２に記載の骨格検出装置。
【請求項４】
前記入力画像を複数のグリッド領域に分割して各対象物が何れのグリッド領域に位置するかを特定し、
前記特定の結果と、前記入力画像における各対象物のサイズと、前記車両の速度と、に基づき、各対象物に対して前記優先度を設定する
、請求項３に記載の骨格検出装置。
【請求項５】
前記入力画像における各対象物のサイズを複数のサイズクラスに分類し、
近方グリッド領域に位置する近方対象物のサイズと遠方グリッド領域に位置する遠方対象物のサイズとを共通のサイズクラスに分類した場合において、前記車両の速度が第１速度域に属するときには、前記近方対象物に対し前記遠方対象物よりも相対的に高い優先度を設定し、前記車両の速度が前記第１速度域よりも大きな第２速度域に属するときには、前記遠方対象物に対し前記近方対象物よりも相対的に高い優先度を設定し、
前記近方グリッド領域及び前記遠方グリッド領域は前記複数のグリッド領域の何れかであり、
前記近方グリッド領域は、前記遠方グリッド領域と比べ、前記車両からの距離が相対的に小さい物体の像が現れるグリッド領域である
、請求項４に記載の骨格検出装置。
【請求項６】
共通のグリッド領域に２以上の対象物が位置する場合、前記２以上の対象物の内、相対的に大きなサイズクラスに分類された対象物に対し、相対的に小さなサイズクラスに分類された対象物より、前記優先度を高く設定する
、請求項５に記載の骨格検出装置。
【請求項７】
前記入力画像を複数のグリッド領域に分割して各対象物が何れのグリッド領域に位置するかを特定し、
前記特定の結果と、前記入力画像における各対象物のサイズと、前記車両の舵角情報又は前記車両の舵角が反映される前記車両の加速度情報と、に基づき、各対象物に対して前記優先度を設定する
、請求項３に記載の骨格検出装置。
【請求項８】
前記車両の舵角情報又は前記加速度情報に基づき前記車両が右に曲がる右方進行状態又は左に曲がる左方進行状態にあるかを判定し、
前記入力画像における各対象物のサイズを複数のサイズクラスに分類し、
右方グリッド領域に位置する右方対象物のサイズと左方グリッド領域に位置する左方対象物のサイズとを共通のサイズクラスに分類した場合において、前記車両が前記右方進行状態にあると判定したときには、前記右方対象物に対し前記左方対象物よりも相対的に高い優先度を設定し、前記車両が前記左方進行状態にあると判定したときには、前記左方対象物に対し前記右方対象物よりも相対的に高い優先度を設定し、
前記右方グリッド領域及び前記左方グリッド領域は前記複数のグリッド領域の何れかであり、
前記右方グリッド領域は前記車両の外部における右側領域の像が現れるグリッド領域であって、前記左方グリッド領域は前記車両の外部における左側領域の像が現れるグリッド領域である
、請求項７に記載の骨格検出装置。
【請求項９】
共通のグリッド領域に２以上の対象物が位置する場合、前記２以上の対象物の内、相対的に大きなサイズクラスに分類された対象物に対し、相対的に小さなサイズクラスに分類された対象物より、前記優先度を高く設定する
、請求項８に記載の骨格検出装置。
【請求項１０】
請求項１又は２に記載の骨格検出装置を有し、各対象物のキーポイントの検出結果に基づき各対象物としての人物又は動物の行動を予測する
、行動予測装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、骨格検出装置、行動予測装置、車両及び骨格検出プログラムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
ニューラルネットワークを用いた骨格検出（骨格推定）が広く実用化されている。骨格検出としてトップダウン型の骨格検出とボトムアップ型の骨格検出があり、前者の方か後者よりも良好な特性を得やすいことが知られている。但し、トップダウン型の骨格検出では、画像内における骨格検出の対象物数が多くなりすぎると、処理負荷（計算時間）が大きくなりすぎることが懸念される（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２２－４２２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
トップダウン型の骨格検出において、検出されるキーポイント数を減じれば処理負荷が小さくなるが、キーポイント数の低減は骨格検出の精度低減（検出されるキーポイントが粗くなることに対応）をもたらす。一方で精度を優先し、画像内の全対象物に対して一律に高精度の骨格検出（キーポイント数が多い骨格検出）を行うことは処理負担の面から適正とは言い難い。処理負荷と必要な骨格検出精度とのバランスを図る技術の開発が期待される。
【０００５】
本発明は、処理負荷と必要な骨格検出精度（必要なキーポイント数）とのバランスを適正化する技術を提案することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る骨格検出装置は、検出されるキーポイント数が互いに異なる複数の骨格検出モデルを有し、複数の対象物の像を含む入力画像の画像データに基づき前記入力画像における各対象物のキーポイントを前記複数の骨格検出モデルを用いて検出する骨格検出装置であって、前記入力画像の画像データに基づき各対象物に対して優先度を設定し、前記優先度の設定結果に基づき各対象物を前記複数の骨格検出モデルの何れかに割り当てる。
【発明の効果】
【０００７】
複数の対象物の内、重要性が高いと考えられる対象物を、優先的にキーポイント数が多い側の骨格検出モデル（高精度側の骨格検出モデル）に割り当てることが好ましい。一方、入力画像の画像データに基づけば各対象物の重要性（例えば車両への適用時には安全性確保にとっての重要性）を推測可能である。上記骨格検出装置の如く、入力画像の画像データに基づき各対象物に対して優先度を設定し、優先度の設定結果に基づき各対象物を複数の骨格検出モデルの何れかに割り当てる。これにより、重要性が高いと考えられる対象物を、優先的にキーポイント数が多い側の骨格検出モデルに割り当てること可能となる。結果、処理負荷と必要な骨格検出精度（必要なキーポイント数）とのバランスを、適正にすることが可能となる。
【図面の簡単な説明】
【０００８】
本発明の実施形態に係り、ユーザと他の構成要素との関係を示す図である。
本発明の実施形態に係る車載システムの内部構成図である。
本発明の実施形態に係るカメラの撮影領域を示す図である。
本発明の実施形態に係る車載装置の内部構成図である。
本発明の実施形態に係る車両センサ部の内部構成図である。
本発明の実施形態に係り、入力画像の例を示す図である。
本発明の実施形態に係り、入力画像が複数のグリッド領域に分割される様子を示す図である。
本発明の実施形態に係り、車載装置におけるコントローラの機能ブロック図である。
本発明の実施形態に係り、入力画像内の各人物に対してバウンディングボックスが設定される様子を示す図である。
本発明の実施形態に係り、入力画像列の構成を示す図である。
本発明の実施形態に係り、グリッド領域と優先度との関係を説明するための図である。
本発明の実施形態に係り、物体サイズが４種類のサイズクラスに分類される様子を示す図である。
本発明の実施形態に係り、骨格検出部に２つの骨格検出モデルが設けられる様子を示す図である。
本発明の実施形態に属する第１実施例に係り、入力画像内に複数の人物が存在する様子を示す図である。
本発明の実施形態に属する第１実施例に係り、車両の速度状態が３種類に分類される様子を示す図である。
本発明の実施形態に属する第２実施例に係り、入力画像内に複数の人物が存在する様子を示す図である。
本発明の実施形態に属する第５実施例に係り、車載装置におけるコントローラの動作フローチャートである。
本発明の実施形態に属する第６実施例に係り、遮蔽可能物の像を含む入力画像を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、機能部、回路、素子又は部品等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、機能部、回路、素子又は部品等の名称を省略又は略記することがある。
【００１０】
図１に本発明の実施形態にて想定されるユーザＵ１と他の構成要素との関係を示す。ユーザＵ１は車両Ｖ１の乗員である。ユーザＵ１は車両Ｖ１の運転者（ドライバ）である。以下、単に運転者といった場合、それは車両Ｖ１の運転者（故にユーザＵ１）を指すものとする。但し、ユーザＵ１は運転者以外の乗員（即ち車両Ｖ１の同乗者）であっても良い。車両Ｖ１は任意の種類の車両である。ここでは車両Ｖ１は路面上を走行する自動車等であるとする。車両Ｖ１に対し車載システム１が搭載され、車載システム１の各構成部品は車両Ｖ１の適所に設置される。
（【００１１】以降は省略されています）

関連特許