特許ウォッチ

公開番号2025093503
公報種別公開特許公報(A)
公開日2025-06-24
出願番号2023209192
出願日2023-12-12
発明の名称情報処理装置、情報処理方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06V 20/64 20220101AFI20250617BHJP(計算;計数)
要約【課題】注目オブジェクトに関する高精度の放射輝度場を推定する際の演算量又はメモリ使用量を抑制する。
【解決手段】本開示に係る情報処理装置100は、空間内に存在するオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、複数の視点のそれぞれに対応するカメラパラメータとを取得し、オブジェクトのうちの注目オブジェクトに関して、複数の撮像画像のそれぞれにおける各画素に結像された像が注目オブジェクトであることの尤度を示す情報を、注目オブジェクトごとに、複数の撮像画像のそれぞれにおける各画素に対応する尤度値として取得し、複数の撮像画像のデータ、複数のカメラパラメータ、及び注目オブジェクトごとの複数の撮像画像のそれぞれにおける各画素に対応する尤度値に基づいて、空間における各位置に対応する色情報と、空間の各位置における注目オブジェクトごとの尤度値とを含む、空間に関する情報を推定する。
【選択図】図2
特許請求の範囲【請求項１】
所定の空間内に存在する１つ以上のオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、撮像した際の前記複数の視点のそれぞれに対応するカメラパラメータとを取得する撮像データ取得手段と、
前記１つ以上のオブジェクトのうちの１つ以上の注目オブジェクトに関して、前記複数の撮像画像のそれぞれにおける各画素に結像された像が前記注目オブジェクトであることの尤度を示す情報を、前記注目オブジェクトごとに、前記複数の撮像画像のそれぞれにおける各画素に対応する尤度値として取得する尤度取得手段と、
前記複数の撮像画像のデータ、前記複数の視点のそれぞれに対応するカメラパラメータ、及び前記注目オブジェクトごとの前記複数の撮像画像のそれぞれにおける各画素に対応する尤度値に基づいて、前記空間における各位置に対応する色情報と、前記空間の各位置における前記注目オブジェクトごとの尤度値とを含む、前記空間に関する情報を推定する推定手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記空間に関する情報は、前記空間における各位置に対応する色情報、及び前記空間の各位置における前記注目オブジェクトごとの尤度値を出力する関数を示す情報であること、
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記空間における各位置に対応する色情報は、前記空間における位置と方向との組み合わせに対する色情報であること、
を特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記推定手段は、前記空間における各位置に対応する体積密度を更に含む前記空間に関する情報を推定すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記空間に関する情報は、前記空間における各位置に対応する色情報、前記空間の各位置における前記注目オブジェクトごとの尤度値、及び前記空間における各位置に対応する体積密度を出力する関数を示す情報であること、
を特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記推定手段は、推定により得られた、前記空間の各位置における前記注目オブジェクトごとの尤度値に基づいて、前記空間における各位置に対応する体積密度を算出すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記推定手段は、
前記複数の撮像画像のデータと、前記複数の視点のそれぞれに対応するカメラパラメータと、推定により得られた前記空間における各位置に対応する色情報と、推定及び算出の少なくともいずれかにより得られた体積密度とを用いて色に関する誤差を算出し、
前記注目オブジェクトごとの、前記複数の撮像画像のそれぞれにおける各画素に対応する尤度値と、推定により得られた前記空間の各位置における前記注目オブジェクトごとの尤度値と、推定及び算出の少なくともいずれかにより得られた体積密度とを用いて尤度値に関する誤差を算出し、
算出により得られた前記色に関する誤差、及び前記尤度値に関する誤差を最小化することにより前記空間に関する情報を推定すること、
を特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記空間に関する情報に基づいて、前記空間内のオブジェクトを可視化する画像を生成する画像生成手段、を更に有すること、
を特徴とする請求項１に記載の情報処理装置。
【請求項９】
生成された前記画像を表示デバイスに表示出力する出力手段、を更に有すること、
を特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記画像生成手段は、前記空間における前記注目オブジェクトの尤度値が小さいほど、前記画像における当該注目オブジェクトに対応する像の色が透過されるように前記画像を生成すること、
を特徴とする請求項８に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、対象の空間をモデル化するための情報処理技術に関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
カメラパラメータが既知の互いに異なる複数の視点からの撮像により得られる複数の撮像画像（以下「多視点画像」と呼ぶ。）に基づいて、対象の空間内に存在するオブジェクトに関する放射輝度場（ＲａｄｉａｎｃｅＦｉｅｌｄｓ）を推定する技術がある。以下、放射輝度場を推定する対象の空間を「シーン」と表記して説明する。また、推定された放射輝度場を用いて、任意の仮想的な視点（以下「仮想視点」と呼ぶ。）からオブジェクトを見た場合の見えに対応する画像（以下「仮想視点画像」と呼ぶ。）を生成する技術がある。非特許文献１には、多視点画像を教師とする深層学習により、シーンにおける位置と方向とに対するオブジェクトの色と体積密度とを表す放射輝度場を推定する技術が開示されている。また、非特許文献１には、推定された放射輝度場に基づいて、体積密度を用いて重み付けされた色を任意の視点の位置を始点とする光線に沿って積算することにより、仮想視点画像の画素値を決定する技術が開示されている。
【０００３】
また、シーンに含まれる複数のオブジェクトのうちの一部のオブジェクトに注目し、注目したオブジェクトに対応する像のみを仮想視点画像に含める等、オブジェクトの像に編集を加えた仮想視点画像を生成する技術がある。以下、シーンに含まれる複数のオブジェクトのうちの注目した１以上のオブジェクトを「注目オブジェクト」と表記して説明する。非特許文献２には、非特許文献１に開示の技術を応用した、多視点画像と各撮像画像における注目オブジェクトに対応する画像領域以外の領域をマスクするマスク画像とに基づいて、注目オブジェクトに特化した放射輝度場を推定する技術が開示されている。以下、撮像画像におけるオブジェクトに対応する画像領域をオブジェクト領域と表記し、特に、撮像画像における注目オブジェクトに対応する画像領域を注目オブジェクト領域と表記して説明する。
【０００４】
具体的には、非特許文献２に開示の技術（以下「従来技術」と呼ぶ。）では、まず、各注目オブジェクトに関する放射輝度場と、シーン内に存在する全てのオブジェクトを含むシーン全体に関する放射輝度場とが推定される。続いて、推定された各注目オブジェクトに関する放射輝度場とシーン全体に関する放射輝度場とを用いて、各注目オブジェクトに関する、より精度の高い放射輝度場が推定される。より具体的には、従来技術では、上述のマスク画像を用いて注目オブジェクト領域以外の領域をマスキングした多視点画像を教師とする深層学習により、注目オブジェクトのみに関する色と体積密度とを表す放射輝度場が推定される。また、マスキング前の多視点画像を教師とする深層学習により、シーン全体に関する色と体積密度とを表す放射輝度場が推定される。更に、推定されたこれらの放射輝度場を用いて、注目オブジェクトが他のオブジェクトによって遮蔽される領域を特定することにより、注目オブジェクトに関する、より精度の高い放射輝度場が推定される。
【０００５】
従来技術を用いることにより、シーン内に存在する複数のオブジェクトに関する放射輝度場をそれぞれ個別に表現することができる。また、仮想視点画像の生成に用いる放射輝度場の組み合わせを変えることにより、シーン内に存在するオブジェクトについて様々な編集を行うことができる。例えば、ある注目オブジェクトに関する放射輝度場のみを用いることにより、当該注目オブジェクトの像のみが含まれる仮想視点画像を生成することができる。
【先行技術文献】
【非特許文献】
【０００６】
ＢｅｎＭｉｌｄｅｎｈａｌｌ，外５名，“ＮｅＲＦ：ＲｅｐｒｅｓｅｎｔｉｎｇＳｃｅｎｅｓａｓＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｓｆｏｒＶｉｅｗＳｙｎｔｈｅｓｉｓ”，［online］，令和２年８月３日，ａｒＸｉｖ，［令和５年１２月１日検索］，インターネット＜https://arxiv.org/pdf/2003.08934.pdf＞
ＢａｎｇｂａｎｇＹａｎｇ，外７名，“ＬｅａｒｎｉｎｇＯｂｊｅｃｔ－ＣｏｍｐｏｓｉｔｉｏｎａｌＮｅｕｒａｌＲａｄｉａｎｃｅＦｉｅｌｄｆｏｒＥｄｉｔａｂｌｅＳｃｅｎｅＲｅｎｄｅｒｉｎｇ”，［online］，令和３年９月４日，ａｒＸｉｖ，［令和５年１２月１日検索］，インターネット＜https://arxiv.org/abs/2109.01847＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、各注目オブジェクトに関する放射輝度場を精度よく推定するために、各注目オブジェクトに関する放射輝度場及びシーン全体に関する放射輝度場の両方を推定する必要がある。そのため、当該技術には、膨大な演算量又はメモリを要するという問題点があった。
【０００８】
そこで、本開示では、注目オブジェクトに関する高精度の放射輝度場を推定する際の演算量又はメモリ使用量を従来の技術よりも抑制することが可能な技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本開示に係る情報処理装置は、所定の空間内に存在する１つ以上のオブジェクトを複数の視点から撮像することにより得られる複数の撮像画像のデータと、撮像した際の前記複数の視点のそれぞれに対応するカメラパラメータとを取得する撮像データ取得手段と、前記１つ以上のオブジェクトのうちの１つ以上の注目オブジェクトに関して、前記複数の撮像画像のそれぞれにおける各画素に結像された像が前記注目オブジェクトであることの尤度を示す情報を、前記注目オブジェクトごとに、前記複数の撮像画像のそれぞれにおける各画素に対応する尤度値として取得する尤度取得手段と、前記複数の撮像画像のデータ、前記複数の視点のそれぞれに対応するカメラパラメータ、及び前記注目オブジェクトごとの前記複数の撮像画像のそれぞれにおける各画素に対応する尤度値に基づいて、前記空間における各位置に対応する色情報と、前記空間の各位置における前記注目オブジェクトごとの尤度値とを含む、前記空間に関する情報を推定する推定手段と、を有する。
【発明の効果】
【００１０】
本開示によれば、注目オブジェクトに関する高精度の放射輝度場を推定する際の演算量又はメモリ使用量を抑制することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許