特許ウォッチ

公開番号2025135365
公報種別公開特許公報(A)
公開日2025-09-18
出願番号2024033172
出願日2024-03-05
発明の名称画像処理装置、画像処理方法、及びプログラム
出願人日本電気株式会社
代理人弁理士法人ブライタス
主分類G06T 7/00 20170101AFI20250910BHJP(計算;計数)
要約【課題】画像間で位置が異なる部分の特徴点マッチングにおける精度の向上を図る。
【解決手段】画像処理装置10は、第1の画像における第1の特徴点を抽出し、第1の画像中の被写体の一部を撮影して得られた第2の画像における第2の特徴点を抽出する、特徴点抽出部11と、第1の特徴点及び第2の特徴点のなかから、設定要件を満たす、第1の特徴点と第2の特徴点との組合せを特定する、組合せ特定部12と、組合せ毎に、第1の特徴点の位置と第2の特徴点の位置とが近づくように、それぞれの位置情報を正規化する、正規化処理部13と、第1の特徴点及び第2の特徴点それぞれの特徴量を、正規化後の位置情報を加えた状態で符号化する、符号化部14と、符号化された、第1の特徴点と第2の特徴点とに対してマッチング処理を実行し、対応する第1の特徴点と第2の特徴点とのペアを特定する、マッチング処理部15と、を備えている。
【選択図】図1
特許請求の範囲【請求項１】
第１の画像における第１の特徴点を抽出し、前記第１の画像中の被写体の一部を撮影して得られた第２の画像における第２の特徴点を抽出する、特徴点抽出部と、
抽出された前記第１の特徴点及び前記第２の特徴点のなかから、設定要件を満たす、前記第１の特徴点と前記第２の特徴点との組合せを特定する、組合せ特定部と、
特定された前記組合せ毎に、前記第１の特徴点の位置と前記第２の特徴点の位置とが近づくように、それぞれの位置情報を正規化する、正規化処理部と、
前記第１の特徴点及び前記第２の特徴点それぞれの特徴量を、正規化後の前記位置情報を加えた状態で符号化する、符号化部と、
符号化された、前記第１の特徴点と前記第２の特徴点とに対してマッチング処理を実行し、対応する前記第１の特徴点と前記第２の特徴点とのペアを特定する、マッチング処理部と、
を備えている、ことを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記組合せ特定部が、前記第１の特徴点と前記第２の特徴点との組合せ毎にスコアを算出し、算出した前記スコアが閾値以上となる組合せを特定する、
請求項１に記載の画像処理装置。
【請求項３】
前記正規化処理部が、特定された前記組合せ毎に、前記スコアを重みとして用いて、前記第１の特徴点及び前記第２の特徴点それぞれについて、重心と、標準偏差又は共分散行列とを算出し、算出した前記重心と、標準偏差又は共分散行列とを用いて、それぞれの位置情報を正規化する、
請求項２に記載の画像処理装置。
【請求項４】
前記正規化処理部が、更に、特定された前記組合せ毎に、前記第１の特徴点及び前記第２の特徴点それぞれの方向を特定し、特定したそれぞれの方向を用いて、前記第１の特徴点の方向と前記第２の特徴点の方向とを整合させる、
請求項３に記載の画像処理装置。
【請求項５】
前記第１の画像が、構造物を撮影して得られた画像であり、前記第２の画像が、前記構造物の一部分を撮影して得られた画像である、
請求項１に記載の画像処理装置。
【請求項６】
第１の画像における第１の特徴点を抽出し、前記第１の画像中の被写体の一部を撮影して得られた第２の画像における第２の特徴点を抽出する、特徴点抽出ステップと、
抽出された前記第１の特徴点及び前記第２の特徴点のなかから、設定要件を満たす、前記第１の特徴点と前記第２の特徴点との組合せを特定する、組合せ特定ステップと、
特定された前記組合せ毎に、前記第１の特徴点の位置と前記第２の特徴点の位置とが近づくように、それぞれの位置情報を正規化する、正規化処理ステップと、
前記第１の特徴点及び前記第２の特徴点それぞれの特徴量を、正規化後の前記位置情報を加えた状態で符号化する、符号化ステップと、
符号化された、前記第１の特徴点と前記第２の特徴点とに対してマッチング処理を実行し、対応する前記第１の特徴点と前記第２の特徴点とのペアを特定する、マッチング処理ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項７】
前記組合せ特定ステップにおいて、前記第１の特徴点と前記第２の特徴点との組合せ毎にスコアを算出し、算出した前記スコアが閾値以上となる組合せを特定する、
請求項６に記載の画像処理方法。
【請求項８】
前記正規化処理ステップにおいて、特定された前記組合せ毎に、前記スコアを重みとして用いて、前記第１の特徴点及び前記第２の特徴点それぞれについて、重心と、標準偏差又は共分散行列とを算出し、算出した前記重心と、標準偏差又は共分散行列とを用いて、それぞれの位置情報を正規化する、
請求項７に記載の画像処理方法。
【請求項９】
前記正規化処理ステップにおいて、更に、特定された前記組合せ毎に、前記第１の特徴点及び前記第２の特徴点それぞれの方向を特定し、特定したそれぞれの方向を用いて、前記第１の特徴点の方向と前記第２の特徴点の方向とを整合させる、
請求項８に記載の画像処理方法。
【請求項１０】
前記第１の画像が、構造物を撮影して得られた画像であり、前記第２の画像が、前記構造物の一部分を撮影して得られた画像である、
請求項６に記載の画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、特徴点マッチングを実行するための、画像処理装置及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
近年、画像処理の分野では、２つの画像間において特徴点マッチングが行われることがある。特徴点マッチングは、一方の画像から抽出された特徴点と、他方の画像から抽出された特徴点とを対比して、一致する特徴点同士を特徴点ペアとする技術である（例えば、特許文献１参照）。
【０００３】
また、このような特徴点マッチングは、例えば、画像から物体の３次元点群データを生成する技術（ＳｆＭ（Structure from Motion））、特定の画像から対象物を探索する技術、等に利用されている。
【０００４】
例えば、特許文献１は、対象物を撮影した複数の画像それぞれから特徴点を抽出し、抽出した特徴点に対して特徴点マッチングを行うことによって、対象物の３次元点群データを生成する装置を開示している。特許文献２は、特定の画像と対象物が撮影されている参照画像とを対比して、特定の画像から対象物を探索する装置を開示している。
【０００５】
また、特徴点マッチングは、対象物の一部分が、対象物全体のどこに位置しているかを特定するために行われることもある。例えば、構造物の保全を目的として、構造物の劣化部分（ヒビ割れ等）の位置を特定するために、特徴点マッチングが行われる。この場合、構造物の劣化部分（ヒビ割れ等）の拡大画像と構造物全体を示す全体画像との間で、特徴点マッチングが行われ、劣化部分の構造物上の位置が特定される。
【先行技術文献】
【特許文献】
【０００６】
特開２０２１－１７４２８５号公報
特開２０１２－１９００８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、対象物の一部分が対象物全体のどこに位置しているかを特定する場合では、図８に示すように、この一部分の画像中の位置が、拡大画像と全体画像とで大きく異なっている。図８は、対象物の拡大画像と全体画像との一例を示す図である。図８では、構造物を撮影して得られた全体画像と、構造物の一部分を撮影して得られた拡大画像とが示されている。
【０００８】
この場合、拡大画像中の一部分の特徴量と、全体画像中の一部分の特徴量とには、それぞれ異なる位置情報が付与されることになる。このため、拡大画像と全体画像との特徴点マッチングの精度が大きく低下してしまうことがある。例えば、拡大画像中の一部分の特徴量と周辺の特徴量との差が小さい程、特徴点マッチングの精度は低下することになる。
【０００９】
また、図９は、対象物の拡大画像と全体画像との他の例を示す図である。図９のように、特定の建物が、特定のエリアのどこに位置しているかを特定する場合においても、上記の問題がある。この場合、建物の画像の位置は、建物が存在する特定のエリアの画像（全体画像）と、建物単独の画像（拡大画像）とで、大きく異なっているからである。
【００１０】
本開示の目的の一例は、上記問題を解消し、画像間で位置が異なる部分の特徴点マッチングにおける精度の向上を図ることにある。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許