特許ウォッチ

公開番号2025071580
公報種別公開特許公報(A)
公開日2025-05-08
出願番号2023181864
出願日2023-10-23
発明の名称画像処理装置、画像処理方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類H04N 23/698 20230101AFI20250428BHJP(電気通信技術)
要約【課題】高解像度である撮像装置と、低解像度である撮像装置の画像を合成する際、解像度の低下を軽減できる画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、二台以上の撮像装置を取り付け、撮像装置から取得した画像データを合成し、合成画像を生成する画像処理装置であって、合成画像のつなぎ目又は重複領域において、相対的に高解像度となる第一の撮像装置と、つなぎ目又は重複領域において、相対的に低解像度となる第二の撮像装置と、第二の撮像装置から取得した画像データからパッチ群を生成する生成手段と(図4―生成部12)、生成したパッチ群のパッチそれぞれに対して、高解像化倍率を設定する倍率設定手段とをもち(図4―倍率設定部13)、高解像化倍率は、第一の撮像装置に基づいて設定する目標解像度に応じた値を設定する。
【選択図】図6
特許請求の範囲【請求項１】
少なくとも二台以上の撮像装置を取り付け、前記撮像装置から取得した画像データを合成し、合成画像を生成する画像処理装置であって、
前記合成画像のつなぎ目又は重複領域において、相対的に高解像度となる第一の撮像装置と、
前記つなぎ目又は重複領域において、相対的に低解像度となる第二の撮像装置と、
前記第二の撮像装置から取得した画像データからパッチ群を生成する生成手段と、
前記生成したパッチ群のパッチそれぞれに対して、高解像化倍率を設定する倍率設定手段とをもち、
前記高解像化倍率は、前記第一の撮像装置に基づいて設定する目標解像度に応じた値を設定することを特徴とする画像処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記目標解像度は、前記第一の撮像装置の画像データから決定する一つの解像度であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記目標解像度は、前記パッチ群のパッチそれぞれに対して設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記目標解像度は、前記パッチ群のそれぞれのパッチの解像度が、前記つなぎ目又は重複領域において、前記第一の撮像装置の解像度との差が軽減する解像度であり、
前記高解像化倍率は、前記パッチ群のそれぞれのパッチの解像度が、前記目標解像度に近づく倍率であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記倍率設定手段は、前記パッチ群のそれぞれのパッチが写した被写体の三次元における位置と、前記第一の撮像装置の位置との距離に基づいて、それぞれのパッチの前記目標解像度を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記倍率設定手段は、前記パッチ群のそれぞれのパッチについて、前記パッチが写した被写体の三次元における位置に基づいて、前記第一の撮像装置の画像データ内の最近傍画素をそれぞれ取得し、前記最近傍画素の解像度を前記目標解像度として、前記パッチ群のそれぞれのパッチの前記高解像化倍率をそれぞれ設定することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記目標解像度は、画像データの空間周波数成分に基づいて算出されることを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項８】
前記目標解像度は、撮像装置のレンズモデル、焦点距離、センササイズ、画素数のうち少なくとも一つの撮像装置情報を用いて求めることを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の画像処理装置は、前記第二の撮像装置から取得した画像において、前記高解像化倍率を設定する領域を設定する領域設定手段をさらに具備することを特徴とする画像処理装置。
【請求項１０】
前記領域設定手段が設定する前記領域は、前記重複領域であることを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
車両に搭載された複数のカメラで撮像した画像を繋ぎ合せて、車両上空の仮想視点から見た車両周囲の画像（俯瞰画像）を生成して表示する車両用表示装置が知られている。例えば、特許文献１では、撮像装置の画像をお椀型の曲面に投影し、その曲面を仮想視点から見た映像を生成する。
【先行技術文献】
【特許文献】
【０００３】
特許第３２８６３０６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、俯瞰画像の撮像装置間のつなぎ目または重複領域において、相対的に高解像度な撮像装置と、相対的に低解像度である撮像装置の画像を合成する場合に、つなぎ目で解像度が低下してしまう。例えば、図１に示すように、トラックのような長い車体に撮像装置を設置した場合、レフトカメラ又はライトカメラから、リアカメラまでの距離が離れてしまう。こうした位置関係の場合、つなぎ目もしくは重複領域において、レフトカメラ又はライトカメラの画像は距離が離れているために低解像度となり、リアカメラの画像は相対的に距離が近いために高解像度となる。合成時にこうした解像度の段差があると主観的な画質の品位が損なわれる。それを防ぐためにブレンド処理を適用した場合は、高解像度の画像に低解像度がブレンドされることになり、ブレンド部分の解像度の低下を引き起こす。
【０００５】
本発明の目的は、複数の撮像装置から取得した画像を合成し俯瞰画像を生成する画像処理装置において、撮像装置間のつなぎ目または重複領域において、相対的に高解像度である撮像装置と、相対的に低解像度である撮像装置の画像を合成する際、解像度の低下を軽減できる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置は、少なくとも二台以上の撮像装置を取り付け、前記撮像装置から取得した画像データを合成し、合成画像を生成する画像処理装置であって、前記合成画像のつなぎ目又は重複領域において、相対的に高解像度となる第一の撮像装置と、前記つなぎ目又は重複領域において、相対的に低解像度となる第二の撮像装置と、前記第二の撮像装置から取得した画像データからパッチ群を生成する生成手段と（図４―生成部１２）、前記生成したパッチ群のパッチそれぞれに対して、高解像化倍率を設定する倍率設定手段とをもち（図４―倍率設定部１３）、前記高解像化倍率は、前記第一の撮像装置に基づいて設定する目標解像度に応じた値を設定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像装置から取得した画像を合成し俯瞰画像を生成する画像処理装置において、撮像装置間のつなぎ目または重複領域において、相対的に高解像度である撮像装置と、相対的に低解像度である撮像装置の画像を合成する際、解像度の低下を軽減できる。
【図面の簡単な説明】
【０００８】
撮像装置配置とつなぎ目を示す図である。
撮像装置と被写体の幾何条件を示す図である。
画像処理装置のハードウェア構成を示す図である。
第一の実施形態における画像処理装置の機能構成を示す図である。
第一の実施形態における画像処理装置の処理を示すフローチャートである。
第一の実施形態における高解像化倍率設定の処理のフローチャートである。
第二の実施形態における高解像化倍率設定の処理のフローチャートである。
第二の実施形態における高解像化倍率設定の処理の第二のフローチャートである。
第三の実施形態における画像処理装置の機能構成を示す図である。
第三の実施形態における画像処理装置の処理を示すフローチャートである。
第三の実施形態における高解像化倍率設定の処理のフローチャートである。
補間処理を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
<解像度について>
本発明の実施形態では、画像データ上の１[pixel]における実空間中に存在する被写体を撮像した際の写している被写体の長さを解像度とする。解像度は撮像装置内の画像データの画素毎に求まる。一つの画素を着目画素とすると、着目画素における解像度は、撮像装置と着目画素が写している被写体との距離から算出される。解像度の算出方法について、図２を参照して説明する。図２では、撮像装置と着目画素における被写体との幾何条件を示している。ここで、撮像装置の焦点距離をｆ［ｍｍ］、イメージセンサの横幅をＳＷ［ｍｍ］、センサ横方向の総画素数ｘ［ｐｉｘｅｌ］、着目画素が写している被写体への投射線がレンズの光軸となす角をθ［ｒａｄ］とする。また、ｄ［ｍｍ］は撮像装置から着目画素に写る被写体までの光軸方向の距離を表す。このとき、ピッチｗ［ｍｍ／ｐｉｘｅｌ］はＳＷ／ｘとなる。また、画像データ中の着目画素の座標を（ｕ０、ｖ０）とする。ピンホールカメラモデルであれば、三角形の相似の関係から式（１）が成り立つ。
（【００１１】以降は省略されています）

関連特許