特許ウォッチ

公開番号2025072846
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2023183241
出願日2023-10-25
発明の名称情報処理装置、情報処理装置の制御方法、およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 19/00 20110101AFI20250501BHJP(計算;計数)
要約【課題】XRで行われるレビューや講習会・説明会などにおいて、情報整理を快適かつ高速な文字入力で実現することができる情報処理装置、情報処理装置の制御方法、およびプログラムを提供することを目的とする。
【解決手段】HMD200は、音声が入力されるマイク制御部204と、マイク制御部204に入力された音声を認識する音声認識部206と、音声認識部206によって認識された音声の内容を表す文字データを仮想付箋に入力すると共に、文字データを入力した仮想付箋のCG画像を生成するCG生成部208と、CG生成部208によって生成された仮想付箋のCG画像を、現実空間と仮想空間が融合したXR空間に合成する画像合成部210と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
音声が入力される音声入力手段と、
前記音声入力手段に入力された音声を認識する音声認識手段と、
前記音声認識手段によって認識された音声の内容を表す文字データを仮想用紙に入力する第１入力手段と、
前記第１入力手段によって文字データが入力された仮想用紙のＣＧ画像を生成する生成手段と、
前記生成手段によって生成された仮想用紙のＣＧ画像を、現実空間と仮想空間が融合したＸＲ空間に合成する合成手段と、を備えることを特徴とする情報処理装置。
続きを表示（約 1,500 文字）【請求項２】
前記音声入力手段に入力された音声から人物を認識する人物認識手段と、
前記生成手段でＣＧ画像が生成された仮想用紙の色を、前記人物認識手段によって認識された人物に応じた色に変更する色変更手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記音声入力手段に入力された音声から感情を認識する感情認識手段と、
前記生成手段でＣＧ画像が生成された仮想用紙の色を、前記感情認識手段によって認識された感情に応じた色に変更する色変更手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記音声入力手段に入力された音声から人物を認識する人物認識手段と、
前記生成手段でＣＧ画像が生成された仮想用紙に、前記人物認識手段によって認識された人物に応じた名前の文字データを入力する第２入力手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記音声入力手段に入力された音声から認識された物体の名称が示す物体の空間座標を、前記現実空間にある現実物体または前記仮想空間にある仮想物体に対する画像認識で取得する物体認識手段と、
前記物体認識手段によって取得された物体の空間座標に、前記生成手段によって生成された仮想用紙のＣＧ画像を貼り付ける貼り付け手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記物体認識手段は、前記音声入力手段に入力された音声から物体の名称を認識することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記音声認識手段は、前記音声入力手段に入力された音声から物体の名称を認識し、前記認識した物体の名称に関する情報を前記物体認識手段に渡すことを特徴とする請求項５に記載の情報処理装置。
【請求項８】
視線の方角を計算する視線計算手段と、
前記視線計算手段によって計算された視線の方角にある物体の空間座標を、前記現実空間にある現実物体または前記仮想空間にある仮想物体に対する画像認識で取得する物体認識手段と、
前記物体認識手段によって取得された物体の空間座標に、前記生成手段によって生成された仮想用紙のＣＧ画像を貼り付ける貼り付け手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記生成手段によって仮想用紙のＣＧ画像が生成される際に録画が開始済であるかどうかを判定する第１判定手段と、
前記第１判定手段によって録画が開始済でないと判定される場合に録画を開始して記録する録画ファイルを、前記生成手段でＣＧ画像が生成された仮想用紙に関連付ける第１記録手段と、
前記第１判定手段によって録画が開始済であると判定される場合に記録中の録画ファイルから切り替えて記録する録画ファイルを、前記生成手段でＣＧ画像が生成された仮想用紙に関連付けて記録する第２記録手段と、を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記音声入力手段に入力された音声から認識された物体の名称が示す物体の空間座標を、前記現実空間にある現実物体または前記仮想空間にある仮想物体に対する画像認識で取得する物体認識手段と、
前記物体認識手段によって取得された物体の空間座標に、前記生成手段によって生成された仮想用紙のＣＧ画像を貼り付ける貼り付け手段と、を備えることを特徴とする請求項９に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
近年、ＸＲ（クロスリアリティ）の発展が目覚ましい。ＸＲとは、現実世界と仮想世界の融合を実現する技術であって、ＶＲ（仮想現実）、ＡＲ（拡張現実）、およびＭＲ（複合現実）の総称である。ＸＲには、仮想キーボードによって文字入力を行う技術がある。さらに、近頃のＸＲでは、音声によって文字入力を行う技術が使われるようになってきている。例えば、特許文献１には、ユーザの音声を変換してなる文字の仮想物体を３次元空間に配置する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－５１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、仮想キーボードによって文字入力を行う技術では、仮想キーボードをハンドジェスチャで操作する場合、手の関節点に対するハンドジェスチャの認識精度に対して、非常に高い精度が要求される。これは、ハンドジェスチャの認識精度が低いと、仮想キーボードの操作時にユーザが隣のキーを間違って押下してしまうといった事象などが発生することによる。また、ハンドジェスチャの認識速度に対しても、非常に速い速度が要求される。これは、ハンドジェスチャの認識速度が遅いと、ユーザは、仮想キーボードのキーを押下したかどうかを、その押下時点から遅れた時点でしか分からないため、ゆっくりとした押下操作しかできないことによる。
【０００５】
こうした非常に高い認識精度や非常に速い認識速度のハンドジェスチャの実現は技術的に難しいことから、ＸＲにおける仮想キーボードでは、現実のキーボードを現実の手で操作するように、快適かつ高速に文字入力を行うことは困難である。そのため、ユーザは、ＸＲで行われるレビューや講習会・説明会などにおいて、要点・疑問点などの内容の文章をリアルタイムで仮想物体に書き込むことが難しいという問題があった。また、特許文献１に開示された技術が適用された場合、ユーザの音声で言い表された要点・疑問点などの内容の文章が、仮想物体の文字となって３次元空間に散在してしまう。そのため、特許文献１に開示された技術は、ＸＲで行われるレビューや講習会・説明会などにおける情報整理に適さないという問題があった。
【０００６】
本発明は、上記の課題に鑑みてなされたものである。本発明は、ＸＲで行われるレビューや講習会・説明会などにおいて、情報整理を快適かつ高速な文字入力で実現することができる情報処理装置、情報処理装置の制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の情報処理装置は、音声が入力される音声入力手段と、前記音声入力手段に入力された音声を認識する音声認識手段と、前記音声認識手段によって認識された音声の内容を表す文字データを仮想用紙に入力する第１入力手段と、前記第１入力手段によって文字データが入力された仮想用紙のＣＧ画像を生成する生成手段と、前記生成手段によって生成された仮想用紙のＣＧ画像を、現実空間と仮想空間が融合したＸＲ空間に合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＸＲで行われるレビューや講習会・説明会などにおいて、情報整理を快適かつ高速な文字入力で実現することができる。
【図面の簡単な説明】
【０００９】
本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」という）の構成を示すブロック図である。
図１に示すＨＭＤの構成を第１実施形態に特化・変形させた際のブロック図である。
音声入力で音声の内容（以下、「音声内容」という）が書き込まれた仮想物体の付箋（以下、「仮想付箋」という）の生成を説明するためのイメージ図である。
音声入力の指示による仮想付箋の貼り付けを説明するためのイメージ図である。
第１実施形態における仮想付箋の生成から貼り付け・合成までの処理の流れを示すフローチャートである。
図１に示すＨＭＤの構成を第２実施形態に特化・変形させた際のブロック図である。
視線計算による仮想付箋の貼り付けを説明するためのイメージ図である。
第２実施形態における仮想付箋の生成から貼り付け・合成までの処理の流れを示すフローチャートである。
図１に示すＨＭＤの構成を第３実施形態に特化・変形させた際のブロック図である。
音声入力で音声内容が書き込まれた仮想付箋の生成と、音声に基づいた人物認識による仮想付箋の色の変更を説明するためのイメージ図である。
音声入力で音声内容が書き込まれた仮想付箋の生成と、音声に基づいた人物認識による仮想付箋への名前の書き込みを説明するためのイメージ図である。
第３実施形態における仮想付箋の生成から貼り付け・合成までの処理の流れを示すフローチャートである。
図１に示すＨＭＤの構成を第４実施形態に特化・変形させた際のブロック図である。
音声に基づいた感情認識による仮想付箋の色の変更を説明するためのイメージ図である。
第４実施形態における仮想付箋の生成から貼り付け・合成までの処理の流れを示すフローチャートである。
図１に示すＨＭＤの構成を第５実施形態に特化・変形させた際のブロック図である。
音声入力で文書内容が書き込まれた仮想付箋の生成と、録画ファイルの関連付け・記録・切り替えを説明するためのイメージ図である。
録画ファイルの再生を説明するためのイメージ図である。
第５実施形態における仮想付箋の生成から貼り付け・合成までと録画の開始から終了までの処理の流れを示すフローチャートである。
第５実施形態における録画ファイルの再生の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。ただし、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。また、各実施形態では、本発明の適用例として、ＨＭＤについて説明する。なお、本発明は、ＨＭＤに限定されるものではなく、例えば、スマートグラスなどのデバイスに適用されてもよい。
（【００１１】以降は省略されています）

関連特許