特許ウォッチ

公開番号2025076600
公報種別公開特許公報(A)
公開日2025-05-16
出願番号2023188252
出願日2023-11-02
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 7/18 20060101AFI20250509BHJP(電気通信技術)
要約【課題】異なるカメラで撮像された同一の移動体を精度よく特定する。
【解決手段】第1の撮像部で撮像された第1の画像から第1の移動体を抽出し、第2の撮像部で撮像された第2の画像から第2の移動体を抽出する。第1の移動体の抽出結果に基づいて、第1の移動体の3次元形体を推定する。第2の移動体の抽出結果に基づいて、第2の移動体の状態を推定する。第1の移動体の3次元形体の推定結果と、第2の移動体の状態の推定結果と、に基づいて、第2の撮像部で第1の移動体が撮像された場合の予測画像を生成する。予測画像と、第2の画像から抽出された第2の移動体の画像とを照合することで、第1の移動体と第2の移動体の同一性を特定する。
【選択図】図5
特許請求の範囲【請求項１】
第１の撮像部で撮像された第１の画像から第１の移動体を抽出する第１の抽出手段と、
第２の撮像部で撮像された第２の画像から第２の移動体を抽出する第２の抽出手段と、
前記第１の抽出手段による抽出結果である第１の抽出結果に基づいて、前記第１の移動体の３次元形体を推定する第１の推定手段と、
前記第２の抽出手段による抽出結果である第２の抽出結果に基づいて、前記第２の移動体の状態を推定する第２の推定手段と、
前記第１の移動体の３次元形体の推定結果と、前記第２の移動体の状態の推定結果と、に基づいて、前記第２の撮像部で前記第１の移動体が撮像された場合の予測画像を生成する生成手段と、
前記予測画像と、前記第２の抽出手段で抽出された前記第２の移動体の画像とを照合することで、前記第１の移動体と前記第２の移動体の同一性を特定する特定手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記第２の移動体の状態の推定結果は、前記第２の移動体の姿勢、及び、前記第２の移動体の画像品質パラメータの情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の移動体の状態の推定結果は、前記第２の移動体の姿勢の情報を含み、
前記生成手段は、前記第２の画像における前記第２の移動体の位置に基づき、前記予測画像の背景画像を生成し、前記第２の移動体の姿勢に基づき、前記第１の移動体の３次元形体に対する視点を変換することで、前記予測画像の前景画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の移動体の状態の推定結果は、前記第２の移動体の画像品質パラメータの情報を含み、
前記生成手段は、前記予測画像を、前記第２の移動体の画像品質パラメータに基づき変換することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１の移動体の３次元形体の推定結果は、前記第１の移動体の３次元空間における位置と色の情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記特定手段は、前記予測画像と前記第２の移動体の画像とをネットワークモデルに入力して得られた特徴ベクトル同士の距離に基づいて、前記第１の移動体と前記第２の移動体の同一性を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記特定手段は、前記予測画像と前記第２の移動体の画像とを減算して得られた結果をネットワークモデルに入力して得られた出力結果に基づいて、前記第１の移動体と前記第２の移動体の同一性を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第１の撮像部の撮像範囲と前記第２の撮像部の撮像範囲には共通する範囲が存在しないことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記第２の抽出結果に基づいて、前記第２の移動体の関節位置を推定する関節位置推定手段を更に有し、
前記生成手段は、前記第２の移動体の関節位置の推定結果に基づいて、前記第１の移動体の３次元形体の関節位置を変更することで、前記予測画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第２の移動体に対する遮蔽領域を検出する検出手段を更に有し、
前記特定手段は、前記予測画像における前記遮蔽領域に対応する領域を、照合の対象から除外することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
近年、大型商業施設における営業活動改善やスマートシティにおけるセキュリティ保全などの需要が高まっている。そのようなユースケースでは大規模エリア内に複数台のカメラを設置することが想定される。カメラの映像から人物の行動ログを記録して分析に役立てるには、所定人物の行動を追跡することが有用であり、そのためにはカメラ間で同一の人物を特定するシステムが必要となる。非特許文献１には、人物画像を高さ方向で分割した各領域の画素情報に基づいた特徴量ベクトルによって人物特定を行う手法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
Ｙ．Ｓｕｎ， “ＢｅｙｏｎｄＰａｒｔＭｏｄｅｌｓ：ＰｅｒｓｏｎＲｅｔｒｉｅｖａｌｗｉｔｈＲｅｆｉｎｅｄＰａｒｔＰｏｏｌｉｎｇ”，ＥＣＣＶ２０１８．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に開示される手法では、各カメラで設置位置や画角が異なることにより、カメラ間で同一の人物を特定することが困難な場合がある。例えば大きな黒いリュックを背負い白いシャツを着た人物の上半身の領域において、前面から見た場合は白い画素情報が顕著となる一方で、背面から見た場合は黒い画素情報が顕著となり、特徴量ベクトルに大きな差が生じてしまう。
【０００５】
そこで、本発明は、異なるカメラで撮像された同一の移動体を精度よく特定することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第１の撮像部で撮像された第１の画像から第１の移動体を抽出する第１の抽出手段と、第２の撮像部で撮像された第２の画像から第２の移動体を抽出する第２の抽出手段と、前記第１の抽出手段による抽出結果である第１の抽出結果に基づいて、前記第１の移動体の３次元形体を推定する第１の推定手段と、前記第２の抽出手段による抽出結果である第２の抽出結果に基づいて、前記第２の移動体の状態を推定する第２の推定手段と、前記第１の移動体の３次元形体の推定結果と、前記第２の移動体の状態の推定結果と、に基づいて、前記第２の撮像部で前記第１の移動体が撮像された場合の予測画像を生成する生成手段と、前記予測画像と、前記第２の抽出手段で抽出された前記第２の移動体の画像とを照合することで、前記第１の移動体と前記第２の移動体の同一性を特定する特定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、異なるカメラで撮像された同一の移動体を精度よく特定ことができる。
【図面の簡単な説明】
【０００８】
画像処理システムのハードウェア構成例を示す図である。
実施形態１に係る画像処理装置の機能構成例を示す図である。
実施形態１に係る画像処理装置の処理を示すフローチャートである。
実施形態１で対象とする画像の具体例を示す図である。
実施形態１に係る画像処理装置のデータの流れを示す図である。
実施形態１に係る特定部の処理を説明するための図である。
実施形態２に係る画像処理装置の機能構成例を示す図である。
実施形態２で対象とする画像の具体例を示す図である。
実施形態２に係る画像処理装置のデータの流れを示す図である。
実施形態３に係る画像処理装置の機能構成例を示す図である。
実施形態３で対象とする画像の具体例を示す図である。
実施形態３に係る画像処理装置のデータの流れを示す図である。
実施形態４で対象とする画像の具体例を示す図である。
実施形態４に係る画像処理装置の処理を示すフローチャートである。
実施形態４に係る画像処理装置のデータの流れを示す図である。
実施形態５に係る画像処理装置の機能構成例を示す図である。
実施形態５で対象とする画像の具体例を示す図である。
実施形態６で対象とする画像の具体例を示す図である。
実施形態６に係る画像処理装置のデータの流れを示す図である。
実施形態７に係る画像処理装置の機能構成例を示す図である。
実施形態７に係る画像処理装置のデータの流れを示す図である。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
図１は、画像処理システムのハードウェア構成例を示す。画像処理システムは、所定の空間に配置された複数台のカメラ１１Ａ，１１Ｂ，・・・，１１Ｃと、画像処理装置１０を含む。画像処理装置１０は、複数台のカメラ１１Ａ～１１Ｃの其々と接続し、複数台のカメラ１１Ａ～１１Ｃとの間で情報の送受信を行う。画像処理装置１０は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置である。
（【００１１】以降は省略されています）

関連特許