特許ウォッチ

公開番号2024155679
公報種別公開特許公報(A)
公開日2024-10-31
出願番号2023159292
出願日2023-09-23
発明の名称アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体
出願人緯創資通股ふん有限公司,WISTRON CORPORATION
代理人個人
主分類G06T 7/00 20170101AFI20241024BHJP(計算;計数)
要約【課題】骨格の追跡精度が向上するアバターの骨格補正方法、仮想現実システムおよびコンピュータ可読媒体を提供する。
【解決手段】この方法において、第1骨格情報を取得する。第1骨格情報の第1型関節を第2型関節に基づいて推定する。第2骨格情報を取得する。第2骨格情報の第1および第2型関節を画像に基づいて決定する。第1骨格情報を第2骨格情報と比較して、比較結果を取得する。比較結果に基づいて、第1骨格情報と第2骨格情報を融合し、第1骨格情報の第1型関節の位置を修正する。
【選択図】図2
特許請求の範囲【請求項１】
第１骨格情報を取得するステップであって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定されるステップと、
第２骨格情報を取得するステップであって、前記第２骨格情報の前記第１型関節および前記第２型関節は画像に基づいて決定されるステップと、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を得るステップと、
前記比較結果に基づいて、前記第１骨格情報と前記第２骨格情報を融合し、前記第１骨格情報の前記第１型関節の位置を修正するステップと、
を含むアバターの骨格補正方法。
続きを表示（約 2,300 文字）【請求項２】
前記第１骨格情報と前記第２骨格情報を比較するステップが、
前記第１骨格情報から前記第２型関節の第１空間位置を取得するステップと、
前記第２骨格情報から前記第２型関節の第２空間位置を取得するステップと、
前記第１空間位置と前記第２空間位置を比較するステップであって、前記第２型関節が、少なくとも１つの目標関節を含むステップと、
を含み、
前記第１空間位置と前記第２空間位置を比較するステップが、
前記第１空間位置に基づいて、前記第１骨格情報における基準関節と前記少なくとも１つの目標関節の間の少なくとも１つの第１接続線を決定するステップと、
前記第２空間位置に基づいて、前記第２骨格情報における前記基準関節と前記少なくとも１つの目標関節の間の少なくとも１つの第２接続線を決定するステップと、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線を比較するステップであって、前記少なくとも１つの第１接続線が、少なくとも１つの第１ベクトルを形成し、前記少なくとも１つの第２接続線が、少なくとも１つの第２ベクトルを形成するステップと、
を含み、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線を比較するステップが、
前記少なくとも１つの第１ベクトルと前記少なくとも１つの第２ベクトルの間の類似性を決定するステップであって、前記第１型関節が、下半身に属し、前記第２型関節が、上半身に属し、前記基準関節が、股関節中心であり、前記少なくとも１つの目標関節が、左手関節、右手関節および頭部関節を含み、前記類似性が、コサイン類似度であるステップを含み、または、
前記第１骨格情報と前記第２骨格情報を比較するステップが、
前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の前記比較に基づいて、前記比較結果を決定するステップと、
前記比較結果が、前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の前記比較が閾値より小さいことを示している場合に、前記第２骨格情報を採用して、前記第１骨格情報を修正するステップと、
前記比較結果が、前記少なくとも１つの第１接続線と前記少なくとも１つの第２接続線の間の比較が前記閾値以上であることを示している場合に、前記第２骨格情報を拒否するステップと、
を含む請求項１に記載のアバターの骨格補正方法。
【請求項３】
前記比較結果に基づいて、前記第１骨格情報と前記第２骨格情報を融合するステップが、
前記第２骨格情報における第１関節および第２関節の基準ベクトルに基づいて、前記第１骨格情報における第１関節から延伸し、前記第１骨格情報における第２関節の位置を修正するステップであって、前記第１骨格情報の前記第１関節が外側に向かってある距離だけ延伸する位置が、前記第１骨格情報における前記第２関節を修正するための前記位置であり、前記距離が、前記第２骨格情報における前記基準ベクトルと長さ変換係数の積であり、前記長さ変換係数が、前記第１骨格情報と前記第２骨格情報の間の長さ比率であるステップを含み、または、
前記第１骨格情報と前記第２骨格情報を比較するステップが、
前記第２骨格情報を前記第１骨格情報が属する座標系に変換するステップを含み、
前記第２骨格情報を前記第１骨格情報が属する前記座標系に変換するステップが、
基準ポーズにおける前記第１骨格情報と前記第２骨格情報の間の座標対応を決定するステップであって、前記第２骨格情報の座標変換が、前記座標対応に基づき、前記基準ポーズが、ＴポーズまたはＰｈｉポーズであるステップを含む請求項１または請求項２に記載のアバターの骨格補正方法。
【請求項４】
画像を取り込むように構成された撮像装置と、
動作状態を検出するように構成されたセンサと、
前記撮像装置および前記センサと通信するように構成されるとともに、
第１骨格情報を取得する操作であって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定されるとともに、前記第１骨格情報の前記第２型関節は前記センサの感知データに基づいて決定される操作と、
第２骨格情報を取得する操作であって、前記第２骨格情報の前記第１型関節および前記第２型関節は前記画像に基づいて決定される操作と、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を取得する操作と、
前記比較結果に基づいて、前記第１骨格情報と前記第２骨格情報を融合し、前記第１骨格情報の前記第１型関節の位置を修正する操作と、
を実行するように構成されたプロセッサと、
を含む仮想現実システム。
【請求項５】
プロセッサを介してプログラムコードをロードして、
第１骨格情報を取得する操作であって、前記第１骨格情報の第１型関節は第２型関節に基づいて推定される操作と、
第２骨格情報を取得する操作であって、前記第２骨格情報の前記第１型関節および前記第２型関節は画像に基づいて決定される操作と、
前記第１骨格情報と前記第２骨格情報を比較して、比較結果を取得する操作と、
前記比較結果に基づいて、前記第１骨格情報と前記第２骨格情報を融合し、前記第１骨格情報の前記第１型関節の位置を修正する操作と、
を実行する非一時的なコンピュータ可読媒体。

発明の詳細な説明【技術分野】
【０００１】
本発明は、仮想現実（virtual reality, VR）技術に関するものであり、特に、アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体に関するものである。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
科学技術の急速な発展に伴い、メタバース関連製品がどこでも利用可能となり、ＶＲヘッドマウントディスプレイ（head-mounted display, HMD）は、メタバースの入口インターフェースとしてますます人気を博している。ユーザーは、ＶＲＨＭＤを装着することで、仮想世界に没入することができる。しかしながら、ＨＭＤがもたらす「没入感」は、ユーザーの視覚と聴覚に限定されている。つまり、ほとんどのユーザーは、上半身で没入感を体験するだけで、全身では体験しない。
【０００３】
ユーザーがＶＲＨＭＤを装着してＶＲソーシャルプラットフォームに入るとき、自分自身を代表するアバター（avatar）を作成する必要がある。しかしながら、現在の技術では、仮想アバターの上半身しか表示することができない。ＶＲＨＭＤのカメラは、頭と手の位置を追跡して、腕と胸の位置を推定することができるが、ＶＲＨＭＤは、ユーザーの足の位置を知らないため、追跡範囲が限定的である。例えば、腹部や他の障害物がカメラの視野を遮る可能性があり、ユーザーが頭を傾けたり回転させたりすると、カメラは、下半身を捉えることができない。この問題を解決するために、現在のＶＲＨＭＤの位置決め技術は、アウトサイドイン（outside-in）とインサイドアウト（inside-out）の２つに分けることができる。
【０００４】
アウトサイドイン技術を使用すると、より正確で広範な追跡効果を提供することができるが、システムは、複雑で費用がかかり、通常、企業向けに適している。例えば、手足または物体（例えば、テニスラケット）に取り付けられるトラッカーは、位置決め装置を備える必要があるため、システムは、複雑で非効率的である。現在、全身モーションキャプチャスーツ（full-body motion capture suit）が開発されている。このスーツは、優れたモーションキャプチャ効果を達成することができるが、コストが高い。
【０００５】
インサイドアウト技術は、位置決め装置を必要とせずに位置決め方法を提供することができるため、日常のエンターテイメントや移動する場面により適しており、使用機会が増えるとともに、システムは、より単純でコストが低い。しかしながら、モーションキャプチャの効果は、正確ではない。それでもなお、企業は、解決策を見つけてきた。例えば、ＨＭＤが検出した頭部の動きに基づいて、他の部位の動きを推定することができる。しかしながら、特定のユーザーのすべての動きを正確に推定することは依然として不可能であり、結果として、アバターによって再現される動きは、不自然に見える。さらに、大量の歩行パターンデータを収集するためには、ある程度のリソースが必要である。
【０００６】
ＶＲソーシャルネットワーキングを普及させてＶＲを推進するためには、ＶＲをより簡単に利用できるようにし、より現実的に見える物理的パフォーマンスを提示することが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の実施形態は、アバターの骨格補正方法、仮想現実システム、およびコンピュータ可読媒体を提供し、追跡能力を向上させるための新たなシステムアーキテクチャを提供する。
【課題を解決するための手段】
【０００８】
本発明の１つの実施形態におけるアバターの骨格補正方法は、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報を比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を含む（ただし、本発明はこれに限定されない）。
【０００９】
本発明の実施形態における仮想現実システムは、撮像装置、センサ、およびプロセッサを含む（ただし、本発明はこれに限定されない）。撮像装置は、画像を取り込むように構成される。センサは、動作状態を検出するように構成される。プロセッサは、撮像装置およびセンサと通信する。プロセッサは、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するとともに、第１骨格情報の第２型関節をセンサの感知データに基づいて決定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報とを比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を実行するように構成される。
【００１０】
本発明の実施形態における非一時的なコンピュータ可読媒体は、プロセッサを介してプログラムコードをロードし、第１骨格情報を取得し、第１骨格情報の第１型関節を第２型関節に基づいて推定するステップと、第２骨格情報を取得し、第２骨格情報の第１型関節および第２型関節を画像に基づいて決定するステップと、第１骨格情報と第２骨格情報を比較して、比較結果を取得するステップと、比較結果に基づいて第１骨格情報と第２骨格情報を融合し、第１骨格情報の第１型関節の位置を修正するステップと、を実行する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許