特許ウォッチ

公開番号2025095759
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023212039
出願日2023-12-15
発明の名称情報処理装置、情報処理装置の制御方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06F 3/01 20060101AFI20250619BHJP(計算;計数)
要約【課題】現実空間内での音であることを、より確実に把握することができる情報処理装置、情報処理装置の制御方法およびプログラムを提供することを目的とする。
【解決手段】情報処理装置101は、仮想空間の画像を含む空間画像を視認するユーザに関するユーザ情報を取得する第1取得手段(ユーザ情報取得部203)と、空間画像内の仮想オブジェクトに関する仮想オブジェクト情報を取得する第2取得手段(仮想オブジェクト情報取得部205)と、現実空間内で音が発された場合に、音の音源の位置情報を取得する第3取得手段(現実音位置推定部202)と、第1取得手段で取得されたユーザ情報と、第2取得手段で取得された仮想オブジェクト情報と、第3取得手段で取得された位置情報とに基づいて、ユーザに対する現実空間内での音源の方向を報知する報知方法を決定する決定手段(通知判定部207)とを備える。
【選択図】図2
特許請求の範囲【請求項１】
少なくとも仮想空間の画像を含む空間画像を視認するユーザに関するユーザ情報を取得する第１取得手段と、
前記空間画像内の仮想オブジェクトに関する仮想オブジェクト情報を取得する第２取得手段と、
現実空間内で音が発された場合に、該音の音源の位置情報を取得する第３取得手段と、
前記第１取得手段で取得された前記ユーザ情報と、前記第２取得手段で取得された前記仮想オブジェクト情報と、前記第３取得手段で取得された前記位置情報とに基づいて、前記ユーザに対する前記現実空間内での前記音源の方向を報知する報知方法を決定する決定手段と、を備えることを特徴とする情報処理装置。
続きを表示（約 1,000 文字）【請求項２】
前記決定手段で決定された前記報知方法で、前記音源の方向を報知する報知手段を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記空間画像を表示する表示手段を備え、
前記報知手段は、前記表示手段によって前記空間画像内に表示されるマーカで前記音源の方向を報知することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記マーカは、矢印であることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記空間画像は、前記現実空間の画像と前記仮想空間の画像とを含む複合空間の画像であり、
前記報知手段は、前記空間画像内に前記音源が含まれている場合には、該音源を指し示す前記矢印となることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記空間画像は、前記現実空間の画像と前記仮想空間の画像とを含む複合空間の画像であり、
前記報知手段は、前記空間画像内に前記音源が含まれていない場合には、該音源まで距離に比例した長さを有する前記矢印となることを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記空間画像は、前記現実空間の画像と前記仮想空間の画像とを含む複合空間の画像であり、
前記表示手段は、前記空間画像内に前記仮想オブジェクトと前記音源とが含まれており、前記仮想オブジェクトと前記音源とが重なっている場合には、前記仮想オブジェクトの透過度を調整すること特徴とする請求項３に記載の情報処理装置。
【請求項８】
前記第１取得手段は、前記ユーザ情報として、前記ユーザの位置情報、前記ユーザの視線情報、前記ユーザのジェスチャーに関する情報のうちの少なくとも１つを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記第２取得手段は、前記仮想オブジェクト情報として、前記空間画像内での前記仮想オブジェクトの位置情報、大きさおよび姿勢のうちの少なくとも１つを取得することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記現実空間内で音が発された場合に、該音を集音する集音手段を備え、
前記第３取得手段は、前記集音手段で集音された前記音に基づいて、前記音源の位置を推定して、その推定結果を前記位置情報として取得することを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法およびプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近年では、例えば拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）や複合現実（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）に代表されるような、現実空間と仮想空間とを含む空間を体感可能な技術が発展している。例えば、頭部に装着して用いられるヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）は、ＨＭＤを装着したユーザの眼前の現実空間のビデオ画像に仮想物体を重畳した複合空間を体感させることができる。また、ＨＭＤには、ユーザの動作や視線の動きを取得可能なものがある。この場合、ＨＭＤは、ユーザの動作や視線の動きを、複合空間内での動作と同期させることができる。これにより、ユーザは複合空間内で高い没入感を得ることができる。さらに、ＨＭＤには、音を発することによって没入感を向上させるものがある。例えば特許文献１には、現実空間内での音声を分析して、当該現実空間内で話しをしている人物を検出する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許出願公開第２０１９／０３１４１９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の装置では、現実空間内での全音がユーザに対して通知されるため、ユーザは煩わしいと感じるおそれがある。また、複合空間内での音も聞こえた場合には、ユーザが聞いた音が、現実空間内での音であるのか、または、複合空間内での音であるのかの判断が難しくなる。そして、この判断を誤った場合、すなわち、ユーザが聞いた音が、現実空間内での音であるのに、複合空間内での音であると判断した場合には、ユーザは現実空間内での音を聞き逃すおそれがある。
【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明は、現実空間内での音であることを、より確実に把握することができる情報処理装置、情報処理装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の情報処理装置は、少なくとも仮想空間の画像を含む空間画像を視認するユーザに関するユーザ情報を取得する第１取得手段と、前記空間画像内の仮想オブジェクトに関する仮想オブジェクト情報を取得する第２取得手段と、現実空間内で音が発された場合に、該音の音源の位置情報を取得する第３取得手段と、前記第１取得手段で取得された前記ユーザ情報と、前記第２取得手段で取得された前記仮想オブジェクト情報と、前記第３取得手段で取得された前記位置情報とに基づいて、前記ユーザに対する前記現実空間内での前記音源の方向を報知する報知方法を決定する決定手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、現実空間内での音であることを、より確実に把握することができる。
【図面の簡単な説明】
【０００８】
第１実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
図１に示す情報処理装置のソフトウェア構成（機能構成）の一例を示すブロック図である。
音源の方向を通知する通知方法の一例を説明するための図である。
情報処理装置で実行される処理を示すフローチャートである。
ユーザ情報記憶部に記憶されているデータ構造の表の一例を示す図である。
仮想オブジェクト情報記憶部に記憶されているデータ構造の表の一例を示す図である。
第２実施形態に係る情報処理装置のソフトウェア構成（機能構成）の一例を示すブロック図である。
ユーザ動作情報記憶部に記憶されているデータ構造の表の一例を示す図である。
情報処理装置で実行される処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。
【００１０】
＜第１実施形態＞
以下、図１～図６を参照して、第１実施形態について説明する。図１は、第１実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。図１に示すように、情報処理装置１０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０４を有する。また、情報処理装置１０１は、通信部１０５、センシング部１０６、出力部１０７、入力部１０８、撮像部１１０を有する。情報処理装置１０１が有するこれらのハードウェア構成は、バス１０９を介して互いに通信可能に接続されている。ＣＰＵ１０２は、情報処理装置１０１を制御するコンピュータである。情報処理装置１０１の動作は、ＲＯＭ１０３やＲＡＭ１０４にロードされたプログラムによって実現可能となる。プログラムには、例えば、情報処理装置１０１の各部や各手段（情報処理装置の制御方法）をＣＰＵ１０２に実行させるためのプログラム等が含まれる。また、ＲＡＭ１０４は、ＣＰＵ１０２で実行される処理のデータを一時的に格納するワークメモリとしても用いられる。
（【００１１】以降は省略されています）

関連特許