特許ウォッチ

公開番号2025086223
公報種別公開特許公報(A)
公開日2025-06-06
出願番号2023200138
出願日2023-11-27
発明の名称情報処理装置、方法、及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06F 16/332 20250101AFI20250530BHJP(計算;計数)
要約【課題】本発明は、ユーザーからの問いに対して作成される回答の精度を向上することを目的とする。
【解決手段】
情報処理装置は、ユーザーの撮影画像と音声との少なくともいずれかに基づいて、前記ユーザーの感情情報を取得する取得手段と、前記感情情報と、前記音声から抽出された1つ以上のキーワードとに基づいてプロンプトを生成するプロンプト生成手段と、前記プロンプト生成手段により生成されたプロンプトを用いて得られた回答を出力する出力手段と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
ユーザーの撮影画像と音声との少なくともいずれかに基づいて、前記ユーザーの感情情報を取得する取得手段と、
前記感情情報と、前記音声から抽出されたキーワードとに基づいてプロンプトを生成するプロンプト生成手段と、
前記プロンプト生成手段により生成されたプロンプトを用いて得られた回答を出力する出力手段と、を備える情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記プロンプト生成手段は、前記音声から抽出される複数のキーワードから前記感情情報に基づいて特定された１つ以上のキーワードに基づいてプロンプトを生成する請求項１に記載の情報処理装置。
【請求項３】
前記プロンプト生成手段は、前記音声から抽出される複数のキーワードのうち、特定の感情の種類に対応付けられた１つ以上のキーワードに基づいてプロンプトを生成する請求項２に記載の情報処理装置。
【請求項４】
前記プロンプト生成手段は、前記音声から抽出される複数のキーワードのうち、前記特定の感情の種類に対応付けられ、且つ当該感情である尤度が閾値以上である１つ以上のキーワードに基づいてプロンプトを生成する請求項３に記載の情報処理装置。
【請求項５】
前記音声から抽出されたキーワードに基づいて会話の状態を補正する補正手段を更に備え、
前記プロンプト生成手段は、ユーザーとの会話の状態に応じたプロンプトを生成する請求項１に記載の情報処理装置。
【請求項６】
第１時刻のキーワードに対応付けられた感情情報と、前記第１時刻よりも過去の第２時刻の前記キーワードと同一のキーワードに対応付けられた感情情報とが異なる場合、前記第１時刻のキーワードの感情情報を、前記第２時刻の前記キーワードの感情情報に基づいて補正する補正手段を更に備え、
前記プロンプト生成手段は、前記補正手段による補正後の感情情報に基づいて特定された前記１つ以上のキーワードに基づいてプロンプトを生成する
請求項２乃至４のうちいずれか１項に記載の情報処理装置。
【請求項７】
前記補正手段は、前記音声から抽出されたキーワードのうち１つ以上のキーワードに対して表示画面から消去するユーザー操作を受け付けたことに応答して前記会話の状態を変更する、
請求項５に記載の情報処理装置。
【請求項８】
前記補正手段は、前記感情情報が特定の感情を有する割合に基づいて、前記会話の状態を、前記会話の状態とは異なる他の会話の状態に変更する、
請求項５に記載の情報処理装置。
【請求項９】
前記特定の感情は、前記ユーザーの恐怖、悲しみ、怒り、軽蔑、嫌悪の少なくともいずれかを含む、
請求項８に記載の情報処理装置。
【請求項１０】
前記プロンプトは、前記会話の状態に応じたテンプレートに、前記抽出されたキーワードを挿入することで生成される、
請求項５に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、方法、及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
企業への問い合わせ及び商品プランの作成において、人件費削減及び２４時間対応のためにチャットボットが活用されている。チャットボットとは、テキスト及び／又は音声を介して、ユーザーと会話を自動的に行うプログラム及び／又は装置のことである。特許文献１では、ユーザーの音声情報から抽出したキーワードに基づいて推定されるユーザーの感情情報と閲覧情報に基づいて、ユーザーと会話を行う方法が開示されている。一方で、生成系ＡＩの普及により、従来のチャットボットよりも高度な提案の作成が実現されている。例えば、Ｃｈａｔ－ＧＰＴに「東京の有名な観光地を教えてほしい」と入力すると、いくつかの代表的な観光地の名称と、観光地の簡易な説明を関連付けた情報が出力される。ここで、生成系ＡＩでは入力情報（プロンプトとも呼ぶ）の品質が重要であることが知られている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１０３４１１号公報
【非特許文献】
【０００４】
M. Sarma, "Emotion identificationfrom raw speech signals using DNNs," Proc. Interspeech 2018
S. Li, "Deep Facial Expression Recognition: A Survey", IEEE transactions on affective computing, 2020
Sharma, P., & Li, Y. , "Self-Supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling", 2019
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、生成系ＡＩに対する入力情報において、不要な単語及び／又は修飾語が含まれていると、期待する出力が得られない場合がある。特に、音声を入力とする場合、ユーザーの発言に含まれる重要なキーワードと不要なキーワードの区別がつかず、生成系ＡＩに対する入力情報の品質が低下する。また、非特許文献１は、ユーザーの発言に含まれるキーワードの重要性を判定することを考慮していない。
【０００６】
そこで、本発明は、ユーザーからの問いに対して作成される回答の精度を向上することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、本発明の一実施形態に係る情報処理装置は、以下の構成を備える。すなわち、ユーザーの撮影画像と音声との少なくともいずれかに基づいて、前記ユーザーの感情情報を取得する取得手段と、前記感情情報と、前記音声から抽出されたキーワードとに基づいてプロンプトを生成するプロンプト生成手段と、前記プロンプト生成手段により生成されたプロンプトを用いて得られた回答を出力する出力手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、ユーザーからの問いに対して作成する回答の精度を向上することができる。
【図面の簡単な説明】
【０００９】
第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図。
第１実施形態に係る情報処理装置の機能構成を示すブロック図。
第１実施形態に係る感情情報を示す図。
第１実施形態に係るキーワード情報を示す図。
第１実施形態に係るプロンプトを示す図。
第１実施形態に係る生成系ＡＩで作成した回答を示す図。
第１実施形態に係る会話の回答作成処理を説明するフローチャート。
第１実施形態に係る表示部に表示されるＵＩを示す図。
図８ＡのＵＩの一部を拡大した図。
第１実施形態に係るテンプレート情報を説明する図。
第２実施形態に係るプロンプトを示す図。
第２実施形態に係る生成系ＡＩで作成した接客支援情報を示す図。
第２実施形態に係る接客支援情報の作成処理を説明するフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許