特許ウォッチ

公開番号2025126559
公報種別公開特許公報(A)
公開日2025-08-29
出願番号2024022847
出願日2024-02-19
発明の名称情報処理装置および情報処理方法
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 19/00 20110101AFI20250822BHJP(計算;計数)
要約【課題】事前に撮像した画像を、再現する状況に合わせて変更して、再度の画像の撮像を行わずに画像を生成する技術を提供する。
【解決手段】情報処理装置は、第1の撮像装置によって撮像された第1の前景と第1の背景を含む第1の画像を取得し、第2の撮像装置によって撮像された第2の前景と第2の背景を含む第2の画像を取得する画像取得部と、前記第1の画像の撮像時における前記第1の撮像装置の位置姿勢を示す第1の位置姿勢情報、または前記第2の画像の撮像時における前記第2の撮像装置の位置姿勢を示す第2の位置姿勢情報を取得する情報取得部と、取得された前記第1の位置姿勢情報または前記第2の位置姿勢情報を基に、前記第1の前景と前記第2の背景を合成したまたは前記第2の前景と前記第1の背景を合成した合成画像を生成する画像生成部と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
第１の撮像装置によって撮像された第１の前景と第１の背景を含む第１の画像を取得し、第２の撮像装置によって撮像された第２の前景と第２の背景を含む第２の画像を取得する画像取得部と、
前記第１の画像の撮像時における前記第１の撮像装置の位置姿勢を示す第１の位置姿勢情報、または前記第２の画像の撮像時における前記第２の撮像装置の位置姿勢を示す第２の位置姿勢情報を取得する情報取得部と、
取得された前記第１の位置姿勢情報または前記第２の位置姿勢情報を基に、前記第１の前景と前記第２の背景を合成したまたは前記第２の前景と前記第１の背景を合成した合成画像を生成する画像生成部と、
を備えることを特徴とする情報処理装置。
続きを表示（約 970 文字）【請求項２】
前記第２の画像は、前記第１の撮像装置によって前記第１の画像が撮像された時刻または視点位置と異なる時刻または視点位置によって前記第２の撮像装置によって撮像された画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の画像は、リアルタイム映像の画像であり、前記第２の画像は、前記第２の撮像装置によってあらかじめ撮像された画像であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第２の画像は、前記第２の撮像装置によって撮像された全周囲映像の画像または前記第２の撮像装置によって広角な視野で撮像された動画の画像もしくは静止画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記情報取得部は、前記第１の位置姿勢情報および前記第２の位置姿勢情報と異なる第３の位置姿勢情報の指定を受け付け、
前記画像生成部は、取得された前記第１の位置姿勢情報または前記第２の位置姿勢情報の代わりに前記第３の位置姿勢情報に基づいて、前記合成画像を生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第１の撮像装置は、ステレオカメラであることを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記第２の撮像装置は、仮想カメラであることを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記第１の前景および前記第２の前景は、人体の少なくとも一部または物体を含む画像であることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記画像生成部は、前記第１の位置姿勢情報または前記第２の位置姿勢情報を基に仮想オブジェクトを生成し、前記第１の背景または前記第２の背景に前記仮想オブジェクトを重畳して前記合成画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記画像生成部は、前記第１の位置姿勢情報または前記第２の位置姿勢情報によって特定される視点位置から見た前記合成画像を生成することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法に関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、現実空間と仮想空間をリアルタイムに融合させる技術として、複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）が知られている。複合現実感では、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）に搭載された撮像装置によって撮像された現実の画像に、撮像装置の位置姿勢に応じた仮想空間の映像を重畳した合成画像を表示する。
【０００３】
従来、ＭＲのコンテンツやアプリケーションを開発する際に、インタラクションの状況再現および動作確認に手間がかかるという課題や、複数人での体験の場合には状況を再現するのに手間がかかるという課題があった。そこで、事前に録画した動画を用いて所望の状況を再現した合成画像を生成する技術が提案されている。
【０００４】
特許文献１では、３次元動画に含まれる３次元データをユーザーの指示に基づいてＭＲ映像上に合成する。特許文献１には、ユーザーが視認するＭＲ映像上に、記録済のアバターや仮想物体の映像が合成されることが開示されている。また、特許文献１では、ユーザーの動きに応じて映像再生の位置やタイミングが決定される。
【０００５】
特許文献２では、単一視点の３６０度動画を再生する際に、ＨＭＤの視点位置に合わせた映像を生成する。特許文献２では、動画を構成する画像の背景と前景（オブジェクト）を分離し、前景の位置を変更して新しい視点の画像を生成する。
【先行技術文献】
【特許文献】
【０００６】
米国特許第１１１１３８８５号明細書
米国特許出願公開第２０１９／０３７１０３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、事前に記録した動画を用いて、所望の状況を再現した映像が生成されるが、記憶した動画は内容を変更できないため、状況の変化に応じて動画を撮り直す必要が生じる可能性がある。また、特許文献２では、上記の新しい視点の画像を生成する際にＨＭＤによって撮像される画像を使用することは想定されていない。
【０００８】
したがって、上記の特許文献に開示された従来技術では、撮影時と異なる状況での動画の再現が必要になった場合に、再度の動画の撮影が必要となり、動画撮影に伴うコストが生じることが課題となる。
【０００９】
本発明は、上記に鑑みてなされたものであり、事前に撮像した画像を、再現する状況に合わせて変更して、再度の画像の撮像を行わずに画像を生成する技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、第１の撮像装置によって撮像された第１の前景と第１の背景を含む第１の画像を取得し、第２の撮像装置によって撮像された第２の前景と第２の背景を含む第２の画像を取得する画像取得部と、前記第１の画像の撮像時における前記第
１の撮像装置の位置姿勢を示す第１の位置姿勢情報、または前記第２の画像の撮像時における前記第２の撮像装置の位置姿勢を示す第２の位置姿勢情報を取得する情報取得部と、取得された前記第１の位置姿勢情報または前記第２の位置姿勢情報を基に、前記第１の前景と前記第２の背景を合成したまたは前記第２の前景と前記第１の背景を合成した合成画像を生成する画像生成部と、を備えることを特徴とする情報処理装置である。
（【００１１】以降は省略されています）

関連特許