特許ウォッチ

公開番号2025079549
公報種別公開特許公報(A)
公開日2025-05-22
出願番号2023192291
出願日2023-11-10
発明の名称画像処理装置
出願人キヤノン株式会社
代理人個人
主分類G06T 1/20 20060101AFI20250515BHJP(計算;計数)
要約【課題】照合領域が広くても、演算コストの増加を抑制させる。
【解決手段】画像処理装置は、基準画像の第1の照合領域と参照画像の第1の照合領域との間の水平方向の相関値の行毎の総和を算出し、その総和に基づく行毎の値を保持部に格納する水平総和算出手段(水平総和加算部、水平総和減算部)及び基準画像の第1の照合領域と参照画像の第1の照合領域との間の水平方向の相関値の行毎の総和を基に、基準画像の第1の照合領域と参照画像の第1の照合領域との間の垂直方向の相関値の総和を算出する垂直総和算出手段(垂直総和減算部、垂直総和加算部)を有し、水平総和算出手段は、保持部に格納されている行毎の値を用いて、基準画像の第2の照合領域と参照画像の第2の照合領域との間の水平方向の相関値の行毎の総和を算出し、垂直総和算出手段は、基準画像の第2の照合領域と参照画像の第2の照合領域との間の垂直方向の相関値の総和を算出する。
【選択図】図2
特許請求の範囲【請求項１】
基準画像の第１の照合領域と参照画像の第１の照合領域との間の水平方向の相関値の行毎の総和を算出し、前記水平方向の相関値の行毎の総和に基づく行毎の値を保持部に格納する水平総和算出手段と、
前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の水平方向の相関値の行毎の総和を基に、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の垂直方向の相関値の総和を算出する垂直総和算出手段とを有し、
前記水平総和算出手段は、前記保持部に格納されている行毎の値を用いて、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の水平方向の相関値の行毎の総和を算出し、
前記垂直総和算出手段は、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の水平方向の相関値の行毎の総和を基に、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の垂直方向の相関値の総和を算出し、
前記基準画像の第１の照合領域と第２の照合領域は、相互に一部の領域が重なり、
前記参照画像の第１の照合領域と第２の照合領域は、相互に一部の領域が重なっていることを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記垂直総和算出手段により算出された相関値の総和を基に、視差情報を取得する視差情報取得手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記水平総和算出手段は、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の水平方向の相関値の行毎の総和から、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の各行の左端の相関値を減算した行毎の値を前記保持部に格納し、
前記水平総和算出手段は、前記保持部に格納されている行毎の値と、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の各行の右端の相関値とを加算することにより、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の垂直方向の相関値の総和を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記垂直総和算出手段は、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の垂直方向の相関値の総和から、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の上端の行の相関値の総和を減算した中間値を算出し、
前記垂直総和算出手段は、前記中間値と、前記基準画像の第３の照合領域と前記参照画像の第３の照合領域との間の下端の行の相関値の総和を加算することにより、前記基準画像の第３の照合領域と前記参照画像の第３の照合領域との間の垂直方向の相関値の総和を算出し、
前記基準画像の第１の照合領域と第３の照合領域は、相互に一部の領域が重なり、
前記参照画像の第１の照合領域と第３の照合領域は、相互に一部の領域が重なっていることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の上端の行の相関値の総和と、前記基準画像の第３の照合領域と前記参照画像の第３の照合領域との間の下端の行の相関値の総和は、シフトレジスタに格納されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記相関値は、前記基準画像の画素値と前記参照画像の画素値との差分の絶対値であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記相関値は、前記基準画像の画素値と前記参照画像の画素値との差分の二乗和であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記基準画像の第２の照合領域と前記参照画像の第２の照合領域は、それぞれ、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域に対して、右に１画素ずれた領域であることを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記基準画像の第３の照合領域と前記参照画像の第３の照合領域は、それぞれ、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域に対して、下に１画素ずれた領域であることを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記水平総和算出手段と前記垂直総和算出手段は、前記基準画像の第１の照合領域に対して、前記参照画像の照合領域を水平方向にずらしながら、相関値の総和を算出することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、画像処理装置、画像処理装置の処理方法及びプログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
自動運転及び産業用ロボットの情報取得センサとして搭載されるデジタルカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう）を配置し、位相差方式を用いて被写体までの距離を検出する技術が知られている。
【０００３】
このような方式では、測距画素に複数の光電変換部を配置し、撮影レンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部が出力した信号により、異なる瞳領域を通過した光束によって生成された光像（以下、それぞれ「Ａ像」「Ｂ像」）を取得でき、Ａ像及びＢ像にそれぞれ基づいて複数の画像を取得することができる。なお、Ａ像に対応する瞳領域と、Ｂ像に対応する瞳領域は、瞳分割方向と呼ばれる軸に沿って互いに異なる方向に偏心している。
【０００４】
また、取得した複数の画像（以下、それぞれ「Ａ画像」「Ｂ画像」）の間には、瞳分割方向に沿って、デフォーカス量に応じた相対的な位置ズレが生じる。この位置ズレは、像ズレと呼ばれ、像ズレの量を像ズレ量と呼ぶ。像ズレ量（視差）を、所定の変換係数を介してデフォーカス量に変換することで、被写体までの距離を算出することができる。このような方式によると、コントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速かつ高精度な測距が可能となる。
【０００５】
視差の算出には、一般的に、テンプレートマッチングと呼ばれる、領域ベースの対応点探索技術が用いられる。テンプレートマッチングでは、Ａ画像又はＢ画像の一方を基準画像とし、他方の画像を参照画像とする。また、基準画像上に、注目点を中心とする局所領域（以下、照合領域あるいはブロック）を設定すると共に、参照画像上にも、注目点に対応する参照点を中心とする照合領域を設定する。そして、参照点を順次移動させながら、照合領域内のＡ画像とＢ画像との相関（すなわち類似度）が最も高くなる点を探索する。この点と、注目点との相対的な位置ズレ量によって、視差を算出する。
【０００６】
テンプレートマッチングに関し、様々な技術開発がなされており、演算の回数及び演算器の個数を削減するとともに、処理の高速化を実現するといった技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
特開２０１８－２６０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述のテンプレートマッチングは、列方向の面積相関の演算結果を再利用することで、再利用しない場合に比べて、演算回数を削減することができるが、照合領域を広げた場合、照合領域の大きさに依存して演算コストが高くなるという課題がある。
【０００９】
本開示の目的は、照合領域が広くても、演算コストの増加を抑制できるようにすることである。
【課題を解決するための手段】
【００１０】
画像処理装置は、基準画像の第１の照合領域と参照画像の第１の照合領域との間の水平方向の相関値の行毎の総和を算出し、前記水平方向の相関値の行毎の総和に基づく行毎の値を保持部に格納する水平総和算出手段と、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の水平方向の相関値の行毎の総和を基に、前記基準画像の第１の照合領域と前記参照画像の第１の照合領域との間の垂直方向の相関値の総和を算出する垂直総和算出手段とを有し、前記水平総和算出手段は、前記保持部に格納されている行毎の値を用いて、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の水平方向の相関値の行毎の総和を算出し、前記垂直総和算出手段は、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の水平方向の相関値の行毎の総和を基に、前記基準画像の第２の照合領域と前記参照画像の第２の照合領域との間の垂直方向の相関値の総和を算出し、前記基準画像の第１の照合領域と第２の照合領域は、相互に一部の領域が重なり、前記参照画像の第１の照合領域と第２の照合領域は、相互に一部の領域が重なっている。
【発明の効果】
（【００１１】以降は省略されています）

関連特許