特許ウォッチ

公開番号2025145716
公報種別公開特許公報(A)
公開日2025-10-03
出願番号2024046039
出願日2024-03-22
発明の名称電子機器、心理的状態変動評価方法及びプログラム
出願人カシオ計算機株式会社
代理人弁理士法人光陽国際特許事務所
主分類G10L 15/10 20060101AFI20250926BHJP(楽器;音響)
要約【課題】対話の内容がユーザの心理状態に与える影響を可視化する電子機器、心理的状態変動評価方法及びプログラムを提供する。
【解決手段】PCのCPUは、第2発話者が発話した第1発話(例えば発話期間b)に基づく第2話者の心理状態である第1心理状態を推定し、第1発話の直前に第1発話者が発話した第2発話(例えば発話期間a)に基づく第2発話者の心理状態である第2心理状態を推定し、推定した第2心理状態から、第1心理状態への第2発話者の心理状態の変動を示す心理的状態変動情報を導出し、導出した心理的状態変動情報を、第1発話者を識別する識別情報と第2発話の発話内容と第1発話及び第2発話中の第2発話者が映された動画像データとのうち少なくともいずれか1つとともに表示部に表示させる。
【選択図】図3
特許請求の範囲【請求項１】
第１ユーザが発話した第１発話に基づく前記第１ユーザの心理状態である第１心理状態を推定する第１推定手段と、
前記第１発話の直前に第２ユーザが発話した第２発話に基づく前記第１ユーザの心理状態である第２心理状態を推定する第２推定手段と、
前記第２推定手段によって推定した前記第２心理状態から前記第１推定手段によって推定した前記第１心理状態への前記第１ユーザの心理状態の変動を示す心理的状態変動情報を導出する導出手段と、
前記導出手段によって導出した前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つとともに表示部に表示させる制御手段と、
を備えることを特徴とする電子機器。
続きを表示（約 2,400 文字）【請求項２】
前記第１推定手段は、前記第１発話に係る動画像、音声及び発話内容のそれぞれに基づく前記第１心理状態を推定し、
前記第２推定手段は、前記第２発話に係る動画像、音声及び発話内容のそれぞれに基づく前記第２心理状態を推定し、
前記導出手段は、前記第２推定手段によって推定した前記第２発話に係る動画像に基づく前記第２心理状態から前記第１推定手段によって推定した前記第１発話に係る動画像に基づく前記第１心理状態への前記第１ユーザの心理状態の変動、前記第２推定手段によって推定した前記第２発話に係る音声に基づく前記第２心理状態から前記第１推定手段によって推定した前記第１発話に係る音声に基づく前記第１心理状態への前記第１ユーザの心理状態の変動、及び、前記第２推定手段によって推定した前記第２発話に係る発話内容に基づく前記第２心理状態から前記第１推定手段によって推定した前記第１発話に係る発話内容に基づく前記第１心理状態への前記第１ユーザの心理状態の変動のそれぞれに基づいて、前記心理的状態変動情報を導出する、
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記導出手段は、前記動画像、前記音声及び前記発話内容のそれぞれに対応する前記第２心理状態から前記第１心理状態への前記第１ユーザの心理状態の変動を、ポジティブ変動、変動なし又はネガティブ変動に対応する３つの指標のうちのいずれかの指標で表し、当該３つの指標のうち前記ポジティブ変動が最も多い場合、前記心理的状態変動情報として当該ポジティブ変動を導出し、前記ネガティブ変動が最も多い場合、前記心理的状態変動情報として当該ネガティブ変動を導出し、前記ポジティブ変動と前記ネガティブ変動とが同数である場合、前記心理的状態変動情報として前記変動なしを導出する、
ことを特徴とする請求項２に記載の電子機器。
【請求項４】
前記制御手段は、前記導出手段によって導出した前記心理的状態変動情報が前記３つの指標のうちの所定の指標である場合に、当該所定の指標で表された前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つとともに表示部に表示させる、
ことを特徴とする請求項３に記載の電子機器。
【請求項５】
前記制御手段は、前記導出手段によって導出した前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つと紐付けて記憶部に記憶させる、
ことを特徴とする請求項３に記載の電子機器。
【請求項６】
前記制御手段は、前記導出手段によって導出した前記心理的状態変動情報が前記３つの指標のうちの所定の指標である場合に、当該心理的状態変動情報の導出に用いられた前記第２発話に係る発話内容と同一の発話内容が前記記憶部に記憶されているか否かを判定し、当該判定の結果を表示部に表示させる、
ことを特徴とする請求項５に記載の電子機器。
【請求項７】
前記制御手段は、前記導出手段によって導出した前記心理的状態変動情報が前記３つの指標のうちの所定の指標である場合に、前記記憶部に記憶されている前記第２発話の発話内容に基づいて、当該心理的状態変動情報の導出に用いられた前記第２発話に係る発話内容と同一の発話内容であり、且つ、前記第２ユーザが同一である発話内容の発話頻度を判定し、当該判定の結果を表示部に表示させる、
ことを特徴とする請求項５に記載の電子機器。
【請求項８】
電子機器のコンピュータにより実行される心理的状態変動評価方法であって、
第１ユーザが発話した第１発話に基づく前記第１ユーザの心理状態である第１心理状態を推定する第１推定工程と、
前記第１発話の直前に第２ユーザが発話した第２発話に基づく前記第１ユーザの心理状態である第２心理状態を推定する第２推定工程と、
前記第２推定工程によって推定した前記第２心理状態から前記第１推定工程によって推定した前記第１心理状態への前記第１ユーザの心理状態の変動を示す心理的状態変動情報を導出する導出工程と、
前記導出工程によって導出した前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つとともに表示部に表示させる制御工程と、
を含むことを特徴とする心理的状態変動評価方法。
【請求項９】
電子機器のコンピュータを、
第１ユーザが発話した第１発話に基づく前記第１ユーザの心理状態である第１心理状態を推定する第１推定手段、
前記第１発話の直前に第２ユーザが発話した第２発話に基づく前記第１ユーザの心理状態である第２心理状態を推定する第２推定手段、
前記第２推定手段によって推定した前記第２心理状態から前記第１推定手段によって推定した前記第１心理状態への前記第１ユーザの心理状態の変動を示す心理的状態変動情報を導出する導出手段、
前記導出手段によって導出した前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つとともに表示部に表示させる制御手段、
として機能させることを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、電子機器、心理的状態変動評価方法及びプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
従来、利用者が発言した音声を検知し、発言内容とその発言者とを関連付けて画面に表示させる発言内容出力システムが開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１１－１９２０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されているシステムでは、ユーザ間の対話において、発話者（発言者）が切り替わる前後のユーザの心理状態の変動を当該対話と関連付けて表示させることができない。このため、上記システムでは、対話の内容がユーザの心理状態に与える影響を可視化することができない。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、対話の内容がユーザの心理状態に与える影響を可視化することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る電子機器は、第１ユーザが発話した第１発話に基づく前記第１ユーザの心理状態である第１心理状態を推定する第１推定手段と、前記第１発話の直前に第２ユーザが発話した第２発話に基づく前記第１ユーザの心理状態である第２心理状態を推定する第２推定手段と、前記第２推定手段によって推定した前記第２心理状態から前記第１推定手段によって推定した前記第１心理状態への前記第１ユーザの心理状態の変動を示す心理的状態変動情報を導出する導出手段と、前記導出手段によって導出した前記心理的状態変動情報を、前記第２ユーザを識別する識別情報と前記第２発話の発話内容と前記第１発話及び前記第２発話中の前記第１ユーザが映された動画像データとのうち少なくともいずれか１つとともに表示部に表示させる制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、対話の内容がユーザの心理状態に与える影響を可視化することができる。
【図面の簡単な説明】
【０００８】
ＰＣの機能構成を示すブロック図である。
心理的状態変動評価処理の制御手順を示す図である。
第１発話者と第２発話者による１ｏｎ１ミーティングの流れを示す図である。
感情推定結果の変動状況と心理的状態変動情報との関係を示す図である。
発話情報データベースの内容例を示す図である。
心理的状態変動評価画面の例を示す図である。
心理的状態変動評価画面の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、本発明に係る電子機器をＰＣ（Personal Computer）に適用した場合の実施形態の一例について説明する。なお、ＰＣは、ユーザ（例えば、或る企業の人事担当者）が使用するデスクトップＰＣであるものとするが、ノートＰＣ、タブレットＰＣ等でもよい。
【００１０】
図１に示すように、ＰＣ１０は、ＣＰＵ１１と、ＲＡＭ１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。ＰＣ１０の各部は、バス１７を介して接続されている。
（【００１１】以降は省略されています）

関連特許