特許ウォッチ

公開番号2025119509
公報種別公開特許公報(A)
公開日2025-08-14
出願番号2024014435
出願日2024-02-01
発明の名称ユーザインターフェースシステム
出願人個人
代理人個人
主分類G06F 3/0346 20130101AFI20250806BHJP(計算;計数)
要約【課題】ユーザの利便性を高めることができることができるユーザインターフェースシステムを提供する。
【解決手段】ユーザインターフェースシステム1は、ユーザ(傷病者14)の映像を撮像する撮像手段(ビデオカメラ4)と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段(サーバ6の空中操作検出に関わる回路及びソフトウエア)と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を仮想現実空間に表示する表示手段(VRゴーグル)とを備え、前記表示手段は、表示する映像の少なくとも一部として、前記ユーザの手から伸びる仮想棒91の映像を用い、前記仮想現実空間に複数の線を設定し、当該複数の線に前記仮想棒91の先端を合わせるように前記映像を補正することで、前記仮想棒91の先端の手振れを補正する。
【選択図】図1
特許請求の範囲【請求項１】
ユーザの映像を撮像する撮像手段と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を拡張現実空間または仮想現実空間に表示する表示手段と、を備え、前記表示手段は、表示する映像の少なくとも一部として、ユーザの手から伸びる仮想棒の映像を用い、前記拡張現実空間または前記仮想現実空間に複数の線を設定し、当該複数の線に前記仮想棒の先端を合わせるように前記映像を補正することで、前記仮想棒の先端の手振れを補正することを特徴とするユーザインターフェースシステム。
続きを表示（約 420 文字）【請求項２】
ユーザの映像を撮像する撮像手段と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を拡張現実空間または仮想現実空間に表示する表示手段と、を備え、前記表示手段は、表示する映像の少なくとも一部として、ユーザの手から伸びる仮想棒の映像を用い、前記拡張現実空間の現実の物体または前記仮想現実空間の仮想の物体に前記仮想棒の先端を突き刺すことで、前記現実の物体または前記仮想の物体の内部または裏側を表示することを特徴とすることを特徴とするユーザインターフェースシステム。
【請求項３】
前記空中操作検出手段によって検出された前記操作に従って、所定の機器の制御を行う機器制御手段を更に備えることを特徴とする請求項１または２に記載のユーザインターフェースシステム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ユーザの操作を検出して映像を表示するユーザインターフェースシステムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、コンピュータ上に仮想の空間、世界を創り出すＶＲ情報（仮想現実情報）、ＡＲ情報（拡張現実情報）、ＭＲ情報（複合現実情報）などのＸＲ（クロス・リアリティ、またはエクステンデッド・リアリティ）が普及してきている。また、その中でＡＲやＭＲとして（ＡＲ(Augmented Reality)情報）として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置などに表示する技術が種々提案されている。
【０００３】
たとえば、コンピュータが作成したキーボードの画像をＡＲ情報として現実空間に合成した拡張現実空間をヘッドマウントディスプレイ装置に表示し、ユーザが、その表示された仮想のキーボードに手を伸ばして操作することを可能にした空中操作の技術がある（たとえば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００４】
特開平０７－０７８０５５号公報
特開２００９－１４６３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、２に記載の空中操作の技術では、ユーザが、拡張現実空間に表示された仮想のキーボードに手を伸ばして操作するため、操作の範囲が仮想のキーボードに手を伸ばして操作できる範囲であり、操作及び表示の範囲や多様性に限界があった。
【０００６】
また、特許文献１、２に記載の空中操作の技術は、仮想空間や現実世界との融合や距離感のない世界があるが、直接触れて操作せねばならない場合が多く、煩雑な操作により操作が行われていた。
【０００７】
また、近年、技術情報の取り扱いの進化により、ＶＲ,ＡＲ,ＭＲに加えて、メタバースのような仮想空間も生まれてきた。その中で、仮想空間での情報はより密度を増していくと考えられ、現実の世界と仮想空間における物体がその情報密度を増し、張りぼてだけではない情報のある、中味のある物体に変貌していくと思われる。その際、いままでの距離の間隔を無視した２次元的なユーザインターフェースでは、より距離を考慮した現実的な直観的な操作ができず、現実世界のユーザインターフェースのよい部分を生かせていなかった。
【０００８】
本発明は、ユーザの利便性を高めることができるユーザインターフェースシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明のユーザインターフェースシステムは、ユーザの映像を撮像する撮像手段と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を拡張現実空間または仮想現実空間に表示する表示手段と、を備え、前記表示手段は、表示する映像の少なくとも一部として、ユーザの手から伸びる仮想棒の映像を用い、前記拡張現実空間または前記仮想現実空間に複数の線を設定し、当該複数の線に前記仮想棒の先端を合わせるように前記映像を補正することで、前記仮想棒の先端の手振れを補正することを特徴とする。
【００１０】
請求項２に記載の発明のユーザインターフェースシステムは、ユーザの映像を撮像する撮像手段と、前記撮像手段が撮像した前記ユーザの映像に基づいて、前記ユーザが空中で行った操作を検出する空中操作検出手段と、前記空中操作検出手段によって検出された前記操作に従って、内容を変更した映像を拡張現実空間または仮想現実空間に表示する表示手段と、を備え、前記表示手段は、表示する映像の少なくとも一部として、ユーザの手から伸びる仮想棒の映像を用い、前記拡張現実空間の現実の物体または前記仮想現実空間の仮想の物体に前記仮想棒の先端を突き刺すことで、前記現実の物体または前記仮想の物体の内部または裏側を表示することを特徴とすることを特徴とする。
（【００１１】以降は省略されています）

関連特許