特許ウォッチ

公開番号2025069241
公報種別公開特許公報(A)
公開日2025-04-30
出願番号2025011261,2023109116
出願日2025-01-27,2020-08-07
発明の名称複合現実における空間命令およびガイド
出願人マジックリープ, インコーポレイテッド,Magic Leap,Inc.
代理人個人,個人,個人,個人,個人
主分類G06T 19/00 20110101AFI20250422BHJP(計算;計数)
要約【課題】複合現実環境内のユーザ生成コンテンツに対応するオーディオ及び視覚的信号を提示するシステム及び方法を提供する。
【解決手段】方法は、第1の時間において、第1の入力を第1のユーザから受信し、座標空間内の第1の時間における第1のユーザの位置を、第1のウェアラブル頭部デバイスのセンサを使用して決定し、第1の時間における第1のユーザの位置と関連付けられる持続的仮想コンテンツを生成する。第2の時間において、座標空間内の第2の時間における第2のユーザの位置を、決定し、持続的仮想コンテンツを、ディスプレイを介して第2のユーザに表示し、持続的仮想コンテンツと関連付けられる第2のユーザの場所を決定し、持続的仮想コンテンツと関連付けられ、第1のユーザの場所及び第2のユーザの場所に基づく新しい場所を決定する。
【選択図】なし
特許請求の範囲【請求項１】
方法であって、
入力を第１のユーザから受信することであって、前記入力は、前記第１のユーザの移動を示す、ことと、
センサを介して、前記第１のユーザと関連付けられる場所を決定することと、
前記入力に対応するコンテンツを生成することであって、前記コンテンツは、前記第１のユーザの前記移動と関連付けられ、かつ、前記第１のユーザと関連付けられる前記場所とさらに関連付けられる、ことと、
第２のユーザの第１の場所を決定することと、
前記第１のユーザと関連付けられる前記場所に基づいて、かつ、前記第２のユーザの前記第１の場所にさらに基づいて、前記コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記コンテンツを前記第２のユーザに提示することの決定に従って、
ディスプレイを介して、前記コンテンツを前記第２のユーザに提示することであって、前記コンテンツを前記第２のユーザに提示することは、前記第１のユーザの前記移動のビデオを提示することを含む、こと、
前記第２のユーザの第２の場所が前記第２のユーザの前記第１の場所から閾値距離内にあるかどうかを決定すること、
前記第２のユーザの前記第２の場所が前記閾値距離内にないことの決定に従って、前記第２のユーザへの前記コンテンツの提示を一時停止すること、および、
前記第２のユーザの前記第２の場所が前記閾値距離内にあることの決定に従って、前記第２のユーザへの前記コンテンツの提示を一時停止しないこと
を実行することと、
前記コンテンツを前記第２のユーザに提示しないことの決定に従って、前記コンテンツを前記第２のユーザに提示しないことと、
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる前記場所に基づき、かつ、前記第２のユーザの前記第１の場所にさらに基づく、ことと、
前記新しい場所と前記コンテンツを関連付けることと
を含む、方法。
続きを表示（約 1,000 文字）【請求項２】
前記コンテンツは、前記第１のユーザの前記移動のビデオを含む、請求項１に記載の方法。
【請求項３】
前記第１のユーザからの前記入力は、記録セッション中に受信される、請求項１に記載の方法。
【請求項４】
前記センサは、前記第１のユーザと関連付けられる第１のウェアラブル頭部デバイスのセンサであり、
前記ディスプレイは、前記第２のユーザと関連付けられる第２のウェアラブル頭部デバイスのディスプレイである、請求項１に記載の方法。
【請求項５】
前記入力は、前記第１のユーザの頭部の移動、前記第１のユーザの手の移動、およびハンドヘルドコントローラ入力のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項６】
前記センサは、位置センサおよびカメラのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項７】
前記第１のユーザと関連付けられる前記場所は、仮想マーキングと関連付けられる、請求項１に記載の方法。
【請求項８】
前記コンテンツを前記第２のユーザに提示するかどうかを決定することは、第２のセンサを介して、前記第２のユーザの視野が前記第１のユーザと関連付けられる前記場所を含むかどうかを決定することを含む、請求項１に記載の方法。
【請求項９】
前記コンテンツを前記第２のユーザに提示しないことの決定に従って、
前記第２のユーザの視野が前記第１のユーザと関連付けられる前記場所を含むかどうかを決定すること、および、
前記第２のユーザの視野が前記第１のユーザと関連付けられる前記場所を含むことの決定に従って、前記ディスプレイを介して、第２のコンテンツを提示すること
を実行することをさらに含む、請求項１に記載の方法。
【請求項１０】
前記コンテンツが前記第２のユーザに提示される間に、第３のユーザの場所を決定することと、
前記第３のユーザの前記場所が前記第２のユーザの前記第１の場所から第２の閾値距離内にあることの決定に従って、前記コンテンツを前記第２のユーザに提示することと並行して、第２のディスプレイを介して、前記コンテンツを前記第３のユーザに提示することと
をさらに含む、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
（関連出願）
本特許出願は、参照することによってその全体として本明細書に組み込まれる、２０１９年８月７日に出願された米国仮特許出願第６２／８８４，１５３号および２０１９年８月３０日に出願された米国仮特許出願第６２／８９４，４４８号の優先権を請求する。
続きを表示（約 5,800 文字）【０００２】
（分野）
本開示は、概して、オーディオおよび視覚的信号を提示するためのシステムおよび方法に関し、特に、複合現実環境内のユーザ生成コンテンツに対応するオーディオおよび視覚的信号を提示するためのシステムおよび方法に関する。
【背景技術】
【０００３】
（背景）
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【０００４】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。
【０００５】
ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
【０００６】
本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。
【０００７】
ＸＲシステムは、ユーザに、仮想環境と相互作用するための種々の方法を提供し得る。例えば、ＸＲシステムは、ユーザの位置および配向、顔の表情、発話、および他の特性を検出し、本情報を入力として仮想環境に提示するために、種々のセンサ（例えば、カメラ、マイクロホン等）を含んでもよい。ＸＲシステムの相互作用は、（例えば、２Ｄ画面を通した）他の仮想環境におけるユーザの関与と比較して、ユーザの関与を増加させることができる。ソーシャル特徴は、ＸＲシステムユーザが、相互と相互作用する、またはコンテンツとともに相互作用することが可能である場合等、相互作用をさらに増加させることができる。増加された関与は、ユーザが仮想コンテンツとのより密接な視覚的および物理的なつながりを体験するにつれて、より良好な学習またはより享受可能なエンターテインメントを促進することができる。
【０００８】
ＸＲシステムは、仮想視覚およびオーディオキューと実光景および音を組み合わせることによって、一意の高度な没入感および現実性をもたらすことができる。故に、いくつかのＸＲシステムでは、対応する実環境を向上させる、改良する、または改変する、仮想環境を提示することが望ましい。本開示は、訓練、教育、またはエンターテインメント目的のための双方向仮想環境を組み込む、ＸＲシステムに関する。
【発明の概要】
【課題を解決するための手段】
【０００９】
（簡単な要約）
本開示の実施例は、複合現実環境内で空間命令およびガイドを作成するためのシステムおよび方法を説明する。ある例示的方法では、第１の入力が、第１の時間において、第１のユーザから受信される。座標空間内の第１の時間における第１のユーザの位置は、第１のウェアラブル頭部デバイスのセンサを使用して決定される。第１の入力に対応する持続的仮想コンテンツが、生成される。持続的仮想コンテンツは、第１の時間における第１のユーザの位置と関連付けられる。第１のユーザの場所が、決定される。第１のユーザの場所は、持続的仮想コンテンツと関連付けられる。第２の時間において、座標空間内の第２の時間における第２のユーザの位置が、決定される。持続的仮想コンテンツは、ディスプレイを介して、第２のユーザに表示される。持続的仮想コンテンツを第２のユーザに提示することは、第１の時間における第１のユーザの位置に対応する座標空間内の位置において、持続的仮想コンテンツを提示することを含む。第２のユーザの場所が、決定される。第２のユーザの場所は、持続的仮想コンテンツと関連付けられる。新しい場所が、決定され、新しい場所は、第１のユーザの場所および第２のユーザの場所に基づく。新しい場所は、持続的仮想コンテンツと関連付けられる。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
第１の時間において、第１の入力を第１のユーザから受信することと、
第１のウェアラブル頭部デバイスのセンサを使用して、前記第１の時間において、座標空間内の前記第１のユーザと関連付けられる場所を決定することと、
前記第１の入力に対応する持続的仮想コンテンツを生成することであって、前記持続的仮想コンテンツは、前記第１の時間における前記第１のユーザと関連付けられる場所と関連付けられる、ことと、
第２の時間において、前記座標空間内の前記第２の時間における第２のユーザの場所を決定することと、
前記第１の時間における前記第１のユーザと関連付けられる場所および前記第２の時間における前記第２のユーザの場所に基づいて、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することと、
前記持続的仮想コンテンツを前記第２のユーザに提示することの決定に従って、ディスプレイを介して、前記持続的仮想コンテンツを前記第２のユーザに提示することと、
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記持続的仮想コンテンツを前記第２のユーザに提示しないことと
を含み、
前記持続的仮想コンテンツを前記第２のユーザに提示することは、前記第１の時間における前記第１のユーザと関連付けられる場所に対応する前記座標空間内の場所において、前記持続的仮想コンテンツを提示することを含む、方法。
（項目２）
前記第１の入力は、前記第１のユーザの頭部の移動、前記第１のユーザの手の移動、およびハンドヘルドコントローラ入力のうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記センサは、位置センサおよびカメラのうちの少なくとも１つを含む、項目１に記載の方法。
（項目４）
前記仮想コンテンツは、仮想マーキングを備える、項目１に記載の方法。
（項目５）
前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、第２のウェアラブル頭部デバイスのセンサを使用して、前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することを含む、項目１に記載の方法。
（項目６）
フィルタ選択を前記第２のユーザから受信することをさらに含み、前記持続的仮想コンテンツを前記第２のユーザに提示するかどうかを決定することは、前記持続的仮想コンテンツが前記フィルタ選択と関連付けられるかどうかを決定することを含む、項目１に記載の方法。
（項目７）
新しい場所を決定することであって、前記新しい場所は、前記第１のユーザと関連付けられる場所および前記第２のユーザの場所に基づく、ことと、
前記新しい場所と前記持続的仮想コンテンツを関連付けることと
をさらに含む、項目１に記載の方法。
（項目８）
第３の時間において、前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記新しい場所にあることの決定に従って、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目７に記載の方法。
（項目９）
前記新しい場所はさらに、前記第１のユーザと関連付けられる場所の正確度および前記第２のユーザの場所の正確度に基づく、項目７に記載の方法。
（項目１０）
前記持続的仮想コンテンツを前記第２のユーザに提示しないことの決定に従って、前記方法はさらに、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むかどうかを決定することと、
前記第２のユーザの視野が前記第１の時間における前記第１のユーザと関連付けられる場所を含むことの決定に従って、前記持続的仮想コンテンツと関連付けられる第２のコンテンツを提示することと
を含む、項目１に記載の方法。
（項目１１）
前記持続的仮想コンテンツが前記第２のユーザに提示される間、
第３の時間において、前記座標空間内の前記第３の時間における第３のユーザの場所を決定することと、
前記第３のユーザの場所が前記第２の場所にあることの決定に従って、
入力を前記第３のユーザから受信することと、
第１の入力の受信に応答して、前記持続的仮想コンテンツを、前記持続的仮想コンテンツの開始から、前記第３のユーザに提示することと、
第２の入力の受信に応答して、前記第２のユーザと並行して、前記持続的仮想コンテンツを前記第３のユーザに提示することと
をさらに含む、項目１に記載の方法。
（項目１２）
前記第１のユーザと関連付けられる場所は、前記座標空間内の前記第１のユーザの物理的場所である、項目１に記載の方法。
（項目１３）
【図面の簡単な説明】
【００１０】
図１Ａ－１Ｃは、例示的複合現実環境を図示する。
図１Ａ－１Ｃは、例示的複合現実環境を図示する。
図１Ａ－１Ｃは、例示的複合現実環境を図示する。
（【００１１】以降は省略されています）

関連特許