特許ウォッチ

公開番号2025071947
公報種別公開特許公報(A)
公開日2025-05-09
出願番号2023182387
出願日2023-10-24
発明の名称情報処理装置、情報処理方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250430BHJP(計算;計数)
要約【課題】現実空間に仮想物体を配置した空間をユーザに知覚させる場合に、ユーザに与える違和感を低減する。
【解決手段】表示装置に表示する画像であって、仮想物体を含む第1の画像を生成する情報処理装置は、現実空間を撮像した第2の画像を取得する画像取得手段と前記第2の画像に基づき、特定の物体の領域であると推定されたマスク領域を前記第2の画像から抽出する抽出手段と、前記第2の画像に基づき、物体の位置または形状の情報を含む物体情報を取得する取得手段と、前記マスク領域と前記特定の物体の前記物体情報に基づき、前記第1の画像を生成する画像生成手段と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
表示装置に表示する画像であって、仮想物体を含む第１の画像を生成する情報処理装置であって、
現実空間を撮像した第２の画像を取得する画像取得手段と、
前記第２の画像に基づき、特定の物体の領域であると推定されたマスク領域を前記第２の画像から抽出する抽出手段と、
前記第２の画像に基づき、物体の位置または形状の情報を含む物体情報を取得する取得手段と、
前記マスク領域と前記特定の物体の前記物体情報に基づき、前記第１の画像を生成する画像生成手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 860 文字）【請求項２】
前記抽出手段は、前記特定の物体の色情報が事前に登録されたテーブルを参照して、前記テーブルに登録された色情報に基づき、前記マスク領域を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記抽出手段は、予め学習された深層ニューラルネットワークを用いて、前記マスク領域を抽出する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記特定の物体は、人体の特定の部位である、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記特定の物体は、前記表示装置を使用するユーザの特定の部位である、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項６】
前記特定の部位は、人の手である、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記物体情報は、形状の情報および人体における該当する部位の情報を含む、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記取得手段は、前記第２の画像に基づき、前記第２の画像に写る複数の物体の前記物体情報を取得する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項９】
前記画像生成手段は、１）前記複数の物体の前記物体情報のうち前記特定の物体の前記物体情報を選択して、２）前記選択した前記物体情報と前記マスク領域に基づき、前記第１の画像を生成する、
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記取得手段は、予め学習された深層ニューラルネットワークを用いて、前記物体情報を取得する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、現実空間と仮想空間をリアルタイムに融合させる技術として、複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）の技術が知られている。ＭＲ技術では、ＨＭＤ（ヘッドマウントディスプレイ）は、撮像装置によって現実空間が撮像された撮像画像に、撮像装置の位置姿勢に応じた仮想空間の画像を重畳した合成画像を表示する。
【０００３】
このとき、撮像装置と現実物体との間の距離と、撮像装置と仮想物体との間の距離とに応じて、撮像画像における特定の現実物体の領域に仮想物体を表示しないことで物体間の距離感を表現することができる。例えば、撮像画像における手の領域に仮想物体を描画しなければ、手が仮想物体の手前に配置されるように表示できる。これにより、ユーザは仮想物体と現実物体の位置関係を把握しやすくなり、仮想空間における自分の手を用いた作業（検証）が容易になる。
【０００４】
特許文献１では、装置は、自分の手と仮想物体との位置関係を検出するために、ステレオカメラの撮像画像から、事前に登録した手の色領域を抽出する。また、装置は、抽出した領域の輪郭とステレオカメラの対応点から求めた奥行とに基づき、手のポリゴンモデルを生成する。そして、装置は、手のポリゴンモデルが仮想物体より前面に位置すると判定された場合に、手のポリゴンモデルを前面に描画することで、ユーザの手を適切に表示することができる。
【先行技術文献】
【特許文献】
【０００５】
特開２００８－２１０２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１では、ユーザが事前に登録した色領域と同じ色領域の物体が仮想物体よりも手前に配置されている場合には、手以外の物体が描画されてしまう。このため、ユーザに違和感を与えてしまう。
【０００７】
そこで、本発明は、現実空間に仮想物体を配置した空間をユーザに知覚させる場合に、ユーザに与える違和感を低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１つの態様は、
表示装置に表示する画像であって、仮想物体を含む第１の画像を生成する情報処理装置であって、
現実空間を撮像した第２の画像を取得する画像取得手段と、
前記第２の画像に基づき、特定の物体の領域であると推定されたマスク領域を前記第２の画像から抽出する抽出手段と、
前記第２の画像に基づき、物体の位置または形状の情報を含む物体情報を取得する取得手段と、
前記マスク領域と前記特定の物体の前記物体情報に基づき、前記第１の画像を生成する画像生成手段と、
を有することを特徴とする情報処理装置である。
【０００９】
本発明の１つの態様は、
表示装置に表示する画像であって、仮想物体を含む第１の画像を生成する情報処理方法であって、
現実空間を撮像した第２の画像を取得する画像取得ステップと、
前記第２の画像に基づき、特定の物体の領域であると推定されたマスク領域を前記第２の画像から抽出する抽出ステップと、
前記第２の画像に基づき、物体の位置または形状の情報を含む物体情報を取得する取得ステップと、
前記マスク領域と前記特定の物体の前記物体情報に基づき、前記第１の画像を生成する画像生成ステップと、
を有することを特徴とする情報処理方法である。
【発明の効果】
【００１０】
本発明によれば、現実空間に仮想物体を配置した空間をユーザに知覚させる場合に、ユーザに与える違和感を低減することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許