特許ウォッチ

公開番号2025165222
公報種別公開特許公報(A)
公開日2025-11-04
出願番号2024069195
出願日2024-04-22
発明の名称画像処理装置
出願人キヤノン株式会社
代理人個人
主分類H04N 23/745 20230101AFI20251027BHJP(電気通信技術)
要約【課題】フリッカ領域の形状を高精度で算出できるようにする。
【解決手段】画像処理装置は、第1の露光時間で撮像された第1の画像信号と、前記第1の露光時間とは異なる第2の露光時間で撮像された第2の画像信号とを基に、画素毎のフリッカ検知信号を検出する第1の状態検出部111と、前記第1の状態検出部により検出された前記フリッカ検知信号を基に、フリッカ領域の形状を算出する第1のフリッカ形状算出部121とを有する。
【選択図】図1
特許請求の範囲【請求項１】
第１の露光時間で撮像された第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間で撮像された第２の画像信号とを基に、画素毎のフリッカ検知信号を検出する第１の状態検出部と、
前記第１の状態検出部により検出された前記フリッカ検知信号を基に、フリッカ領域の形状を算出する第１のフリッカ形状算出部と
を有することを特徴とする画像処理装置。
続きを表示（約 2,000 文字）【請求項２】
前記第１の露光時間は、フリッカの周波数より長い露光時間であり、
前記第２の露光時間は、フリッカの周波数より短い露光時間であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
フレーム毎に、前記第１のフリッカ形状算出部により算出されたフリッカ領域の形状の特徴点を基に、特徴量を算出する第１の特徴量算出部と、
前記第１の特徴量算出部により算出された現在のフレームの特徴量と前フレームの特徴量を基に、特徴点マッチングを行い、動きベクトルを算出する第１のマッチング部とをさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
フレーム毎に、前記第１の画像信号と前記第２の画像信号を合成することにより第３の画像信号を生成する第１の信号合成部と、
フレーム毎に、前記第３の画像信号の特徴点を算出する特徴点算出部と、
フレーム毎に、前記第３の画像信号の特徴点と、前記フリッカ領域の形状の特徴点とを重畳する特徴点重畳部とをさらに有し、
前記第１の特徴量算出部は、フレーム毎に、前記特徴点重畳部により重畳された特徴点の特徴量を算出し、
前記第１のマッチング部は、前記第１の特徴量算出部により算出された現在のフレームの特徴量と前フレームの特徴量を基に、特徴点マッチングを行い、動きベクトルを算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１のマッチング部により算出された動きベクトルを基に、前記第１の画像信号と前記第２の画像信号を生成した撮像部の姿勢を推定する姿勢推定部をさらに有することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
フレーム毎に、前記第１の画像信号と前記第２の画像信号を合成することにより第３の画像信号を生成する第１の信号合成部と、
フレーム毎に、前記第３の画像信号の特徴点を算出する特徴点算出部と、
フレーム毎に、前記特徴点算出部により算出された前記第３の画像信号の特徴点の特徴量を算出する第２の特徴量算出部と、
前記第２の特徴量算出部により算出された現在のフレームの特徴量と前フレームの特徴量を基に、特徴点マッチングを行い、動きベクトルを算出する第２のマッチング部とをさらに有することを特徴とする請求項３に記載の画像処理装置。
【請求項７】
フレーム毎に、前記第１のマッチング部により算出された動きベクトルと、前記第２のマッチング部により算出された動きベクトルとを重畳する動きベクトル重畳部と、
前記動きベクトル重畳部により重畳された動きベクトルを基に、前記第１の画像信号と前記第２の画像信号を生成した撮像部の姿勢を推定する姿勢推定部とをさらに有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
フレーム毎に、前記第２のマッチング部により算出された動きベクトルの中で、前記第１のマッチング部により算出された動きベクトルに基づく判定値に対して、閾値以上異なる動きベクトルを除去した動きベクトルを出力する動きベクトル除去部と、
前記動きベクトル除去部により出力された動きベクトルを基に、前記第１の画像信号と前記第２の画像信号を生成した撮像部の姿勢を推定する姿勢推定部とをさらに有することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記判定値は、前記第１のマッチング部により算出された動きベクトルの平均値であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１の画像信号と前記第２の画像信号は、第１の撮像素子により撮像された画像信号であり、
第２の撮像素子により前記第１の露光時間で撮像された第４の画像信号と、前記第２の撮像素子により前記第２の露光時間で撮像された第５の画像信号とを基に、画素毎のフリッカ検知信号を検出する第２の状態検出部と、
前記第２の状態検出部により検出された前記フリッカ検知信号を基に、フリッカ領域の形状を算出する第２のフリッカ形状算出部と、
フレーム毎に、前記第１のフリッカ形状算出部により算出されたフリッカ領域の形状の特徴点を基に、特徴量を算出する第１の特徴量算出部と、
フレーム毎に、前記第２のフリッカ形状算出部により算出されたフリッカ領域の形状の特徴点を基に、特徴量を算出する第２の特徴量算出部と、
前記第１の特徴量算出部により算出された特徴量と前記第２の特徴量算出部により算出された特徴量を基に、マッチングを行い、位置関係を示すベクトルを算出するマッチング部とをさらに有することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理システム、画像処理装置の処理方法及びプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
車両や産業用ロボットに搭載されるデジタルカメラにおいて、輝度差が非常に大きい条件においても正しい環境認識のために、広ダイナミックレンジ画像を生成する機能（以下、ＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）機能と呼称）が求められている。広ダイナミックレンジ画像を得るために、複数の信号レベルで画像を取得する。近年、ＨＤＲ機能を持つ撮像素子が、信号機などのＬＥＤによるフリッカにより撮像できない場合がある。
【０００３】
特許文献１には、フリッカを検知し除去する機能を持つ撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１８０４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された方法の場合は、フリッカの発生している画素領域の形状を取得することができない。フリッカの発生している画素領域の形状を取得することで、形状情報を用いた特徴点マッチングによる姿勢推定に用いることができる。一般的に形状の抽出には、Ｃａｎｎｙ法が用いられるが、形状ととらえる画素値の勾配の閾値の設定が一意に決まらないため、精度が低くなる課題がある。
【０００６】
本開示の目的は、フリッカ領域の形状を高精度で算出できるようにすることである。
【課題を解決するための手段】
【０００７】
画像処理装置は、第１の露光時間で撮像された第１の画像信号と、前記第１の露光時間とは異なる第２の露光時間で撮像された第２の画像信号とを基に、画素毎のフリッカ検知信号を検出する第１の状態検出部と、前記第１の状態検出部により検出された前記フリッカ検知信号を基に、フリッカ領域の形状を算出する第１のフリッカ形状算出部とを有する。
【発明の効果】
【０００８】
本開示によれば、フリッカ領域の形状を高精度で算出することができる。
【図面の簡単な説明】
【０００９】
画像処理システムの構成例を示すブロック図である。
画像処理部の動作例を示すフローチャートである。
フリッカ形状算出部の動作例を示すフローチャートである。
フリッカ領域の形状画像の算出方法を示す図である。
画像処理システムの構成例を示すブロック図である。
画像処理部の動作例を示すフローチャートである。
画像処理システムの構成例を示すブロック図である。
画像処理部の動作例を示すフローチャートである。
画像処理部の動きベクトル除去方法を示す図である。
画像処理システムの構成例を示すブロック図である。
画像処理部の動作例を示すフローチャートである。
画像処理システムの構成例を示すブロック図である。
画像処理部の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理システム１３０の構成例を示すブロック図である。以下、図面を用いて、第１の実施形態の画像処理システム１３０について詳細に説明する。画像処理システム１３０は、撮像部１００の姿勢推定を行うために、画素毎にフリッカを検知することでフリッカ形状を算出し、画像信号を用いて算出した特徴点とフリッカ形状画像を重畳して特徴量を算出する。画像処理システム１３０は、算出した特徴量を用いて、特徴点マッチングを行うことで、撮像部１００の姿勢推定する場合における例を説明する。
（【００１１】以降は省略されています）

関連特許