特許ウォッチ

公開番号2025073076
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2024175265
出願日2024-10-04
発明の名称情報処理装置、撮像装置、方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06V 10/774 20220101AFI20250501BHJP(計算;計数)
要約【課題】本発明は、奥行き情報を有する学習データを効率的に取得する技術を提供することを目的とする。
【解決手段】
仮想的な3次元空間に被写体とカメラの3次元モデルを配置する設定手段と、前記カメラの撮影視野に基づいてレンダリングされた前記被写体が写る画像と、前記撮影視野に対応する距離情報とに基づいて、少なくとも前記被写体の周りの領域の部分領域の深度値を含む深度マップを生成する第1生成手段と、前記部分領域の深度値と、前記カメラの撮影パラメータとに基づいて、前記部分領域のデフォーカス量を含むデフォーカスマップを生成する第2生成手段と、を備える。

【選択図】図2
特許請求の範囲【請求項１】
仮想的な３次元空間に被写体とカメラの３次元モデルを配置する設定手段と、
前記カメラの撮影視野に基づいてレンダリングされた前記被写体が写る画像と、前記撮影視野に対応する距離情報とに基づいて、少なくとも前記被写体の周りの領域の部分領域の深度値を含む深度マップを生成する第１生成手段と、
前記部分領域の深度値と、前記カメラの撮影パラメータとに基づいて、前記部分領域のデフォーカス量を含むデフォーカスマップを生成する第２生成手段と、を備える、
情報処理装置。
続きを表示（約 730 文字）【請求項２】
前記部分領域のデフォーカス量は、前記部分領域の深度値から、前記カメラのピント面までの距離を差し引いた値である、
請求項１に記載の情報処理装置。
【請求項３】
前記第２生成手段は、前記カメラの撮影パラメータの大きさに応じて、前記差し引いた値を調整する、
請求項２に記載の情報処理装置。
【請求項４】
前記第２生成手段は、前記カメラの所定のレンズに対応する絞り値と、前記部分領域の深度値とを関連付けた情報に基づいて、前記部分領域のデフォーカス量を決定する、
請求項１に記載の情報処理装置。
【請求項５】
前記部分領域の深度値は、平均値である、
請求項１に記載の情報処理装置。
【請求項６】
前記部分領域の深度値は、最頻値である、
請求項１に記載の情報処理装置。
【請求項７】
前記部分領域は、前記被写体の顔の一部を少なくとも覆う大きさを有する、
請求項１に記載の情報処理装置。
【請求項８】
前記カメラの撮影パラメータは、絞り値である、
請求項１に記載の情報処理装置。
【請求項９】
前記画像と、前記デフォーカスマップとを関連付けて保存する保存手段を備える、
請求項１に記載の情報処理装置。
【請求項１０】
請求項１に記載の情報処理装置の前記第２生成手段で生成されたデフォーカスマップを用いて学習された学習済みモデルに基づいて、撮影画像中の被写体に対する推論結果を得る、
ことを特徴とする撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、撮像装置、方法、及びプログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
撮影レンズの焦点位置を自動調節する焦点調節機能を備えたカメラが普及している。カメラの焦点調節手段（ＡＦ方式）として、位相差ＡＦ方式及びコントラストＡＦ方式などが実用化されている。位相差ＡＦ方式は、視差のある２つの像からピント面のズレ量を直接算出できるため、コントラストＡＦ方式に比べて素早くピント合わせできるといった利点を有する。
【０００３】
近年、ニューラルネットワーク（以下、ＮＮ）を用いて画像中の物体領域を検出する手法が提案されている。リアルタイムに取得された撮像画像において、物体検出しつつ高精度で被写体を追尾することは、本分野の大きな課題である。画像認識用のＮＮに入力するパラメータは、ＲＧＢのカラー画像であるが、カラー画像に加えて奥行き方向の情報もＮＮに入力することで、３次元的なコンテクストを考慮した物体認識を実現できる。ここで、前述のピント面のズレ量は、奥行き方向の情報となり得る。
【０００４】
ＮＮの汎化性能を向上させるために、大量の学習データを必要とする。少量の学習データでもＮＮの汎化性能を上げる手法として、データオーギュメンテーション（以下、ＤＡ）が用いられる。ＤＡとは、学習データ（例えば、画像）に対し、ボケ、ブレ、画像合成、回転、平行移動、拡大縮小、上下左右反転、ノイズの付与、色調変化、明暗変化などの処理を行い、学習データを人為的に拡張する手法のことである。
【０００５】
特許文献１は、３次元コンピュータグラフィックス（以下、３ＤＣＧと呼ぶ）を用いて、３次元の認識対象モデルに対して照明などの描画パラメータを変化させ、レンダリングした画像を教師データとして併用することで学習データを増やす手法を提案している。特許文献２は、３Ｄの人物モデルをレンダリングした第１の画像を背景画像に重畳し、人体部分の輪郭に沿って画素を欠損させ、ノイズを付与することで学習データを増やす手法を提案している。
【先行技術文献】
【特許文献】
【０００６】
特開２０１８－１６３５５４号公報
特開２０２１－４３８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、複数の人物を追尾中に特徴が良く似ている２人の人物が交差した際に追尾対象が入れ替わる問題（スイッチング）が生じる。しかしながら、特許文献１は、重畳する物体の奥行き情報を考慮していないため、スイッチングを解消するための３次元的なコンテクストをＮＮに学習させることができない。特許文献２は、重畳する深度画像の縁、又は、深度画像中の人体部分の輪郭を画素欠損させる。そのため、深度情報を密に得られない位相差ＡＦ方式のカメラ等が取得する画像に基づいて学習データを増やしても、スイッチングの解消に効果的ではない。
【０００８】
そこで、本発明は、奥行き情報を有する学習データを効率的に取得する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、仮想的な３次元空間に被写体とカメラの３次元モデルを配置する設定手段と、前記カメラの撮影視野に基づいてレンダリングされた前記被写体が写る画像と、前記撮影視野に対応する距離情報とに基づいて、少なくとも前記被写体の周りの領域の部分領域の深度値を含む深度マップを生成する第１生成手段と、前記部分領域の深度値と、前記カメラの撮影パラメータとに基づいて、前記部分領域のデフォーカス量を含むデフォーカスマップを生成する第２生成手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、奥行き情報を有する学習データを効率的に取得する技術を提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許