特許ウォッチ

公開番号2025106595
公報種別公開特許公報(A)
公開日2025-07-15
出願番号2025070071,2023151074
出願日2025-04-22,2021-11-25
発明の名称音声処理装置、音声処理方法、及び、プログラム
出願人ソフトバンク株式会社
代理人個人,個人,個人,個人
主分類G10L 13/02 20130101AFI20250708BHJP(楽器;音響)
要約【課題】聞き手のストレスの軽減を可能とすること。
【解決手段】音声処理システム1は、第1のユーザの発話音声の信号である発話音声信号
を取得する取得部と、前記発話音声信号に基づいて抽出される特徴量を音声認識モデルに
入力して、一以上の単語からなる単語列を含むテキストデータを生成する音声認識部と、
前記テキストデータに基づいて抽出される特徴量を音声合成モデルに入力して、合成音声
の信号である合成音声信号を生成する音声合成部と、第2のユーザに対して前記合成音声
を出力する音声出力部と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
第１のユーザの発話音声の信号である発話音声信号を取得する取得部と、
前記発話音声信号に基づいて抽出される特徴量を音声認識モデルに入力して、一以上の
単語からなる単語列を含むテキストデータを生成する音声認識部と、
前記テキストデータに基づいて抽出される特徴量を音声合成モデルに入力して、合成音
声の信号である合成音声信号を生成する音声合成部と、
第２のユーザに対して前記合成音声を出力する音声出力部と、
を備える音声処理システム。
続きを表示（約 2,100 文字）【請求項２】
前記発話音声信号に対応する第１のユーザの感情情報を生成する感情認識部と、
前記第２のユーザに対して前記感情情報を表示する表示部と、を備え、
前記表示部は、前記音声出力部による前記合成音声の出力タイミングに合わせて、前記
合成音声に対応する前記感情情報を表示する、
請求項１に記載の音声処理システム。
【請求項３】
前記発話音声信号に対応する第１のユーザの感情情報を生成する感情認識部と、
前記感情情報に基づいて、前記音声出力部から前記合成音声又は前記発話音声のどちら
を出力するかを切り替える制御部と、
を備える請求項１又は２に記載の音声処理システム。
【請求項４】
前記感情認識部は、発話音声信号、当該発話音声信号から抽出した特徴量、当該発話音
声信号から生成したテキストデータ、当該テキストデータから抽出された特徴量、又はこ
れらの少なくとも二つの組み合わせを入力とし、当該発話音声信号の発話者の感情情報を
出力するよう機械学習された感情認識モデルに、前記取得部が取得した発話音声信号、当
該発話音声信号から抽出した音声特徴量、当該発話音声信号から生成したテキストデータ
、当該テキストデータに対応するテキスト特徴量、又はこれらの少なくとも二つの組み合
わせを入力することにより、前記取得部が取得した発話音声信号に対応する第１のユーザ
の感情情報を生成する、請求項２又は３に記載の音声処理システム。
【請求項５】
前記音声合成部は、前記感情認識部が生成した感情情報に基づいて、前記感情情報が示
す感情が前記合成音声に反映されるように、前記合成音声信号を生成する、請求項２から
請求項４のいずれかに記載の音声処理システム。
【請求項６】
前記第２のユーザのストレス状況に関するストレス情報を生成するストレス認識部と、
前記ストレス情報に基づいて、前記音声出力部から前記合成音声又は前記発話音声のど
ちらを出力するかを切り替える制御部と、
を備える請求項１又は２に記載の音声処理システム。
【請求項７】
前記第２のユーザによって入力される切り替え情報に基づいて、前記音声出力部から前
記合成音声又は前記発話音声のどちらを出力するかを切り替える制御部と、
前記第２のユーザによって入力された切り替え情報を、前記切り替え情報が入力された
際の発話音声信号と時間軸上で関連付けた情報を生成し、当該情報に基づいて、発話音声
信号、当該発話音声信号から抽出した特徴量、当該発話音声信号から生成したテキストデ
ータ、当該テキストデータから抽出された特徴量、又はこれらの少なくとも二つの組み合
わせを入力とし、前記合成音声と前記発話音声とを切り替えるタイミングを出力とする感
情抑制切替モデルを機械学習する学習部とを更に備え、
前記制御部は、前記感情抑制切替モデルに、前記取得部が取得した発話音声信号、当該
発話音声信号から抽出した特徴量、当該発話音声信号から生成したテキストデータ、当該
テキストデータから抽出された特徴量、又はこれらの少なくとも二つの組み合わせを入力
することにより、前記合成音声と前記発話音声とを切り替えるタイミングを生成する、請
求項１から請求項６のいずれかに記載の音声処理システム。
【請求項８】
第１のユーザの発話音声の信号である発話音声信号を取得する取得部と、
前記発話音声信号に基づいて抽出される特徴量を音声認識モデルに入力して、一以上の
単語からなる単語列を含むテキストデータを生成する音声認識部と、
前記テキストデータに基づいて抽出される特徴量を音声合成モデルに入力して、第２の
ユーザに対して出力される合成音声の信号である合成音声信号を生成する音声合成部と、
を備える音声処理装置。
【請求項９】
前記発話音声信号に対応する第１のユーザの感情情報を生成する感情認識部と、
前記感情情報を、前記感情情報に対応する発話音声信号及び／又は合成音声信号と時間
軸上で関連付けして、外部装置に対して送信する送信部とを備える、
請求項８に記載の音声処理装置。
【請求項１０】
第１のユーザの発話音声の信号である発話音声信号を取得する工程と、
前記発話音声信号に基づいて抽出される特徴量を音声認識モデルに入力して、一以上の
単語からなる単語列を含むテキストデータを生成する工程と、
前記テキストデータに基づいて抽出される特徴量を音声合成モデルに入力して、合成音
声の信号である合成音声信号を生成する工程と、
第２のユーザに対して前記合成音声を出力する工程と、
を含む音声処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、音声処理システム、音声処理装置及び音声処理方法に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来、顧客満足度（Customer Satisfaction：ＣＳ）向上のために、顧客の苦情等に対
してオペレータが電話で応対する各種のコールセンターが運用されている。このような顧
客応対業務では、顧客がオペレータに対して威圧的な言動や理不尽な要求を行う「カスタ
マーハラスメント」により、オペレータの精神不調を招いたり、オペレータの離職率が高
くなったりすることが問題視されている。
【０００３】
近年、このようなカスタマーハラスメントから、企業側が従業員であるオペレータを守
るための音声変換システムも検討されている。例えば、特許文献１では、入力音声信号か
ら音量及びピッチ変動量を算出し、音量及びピッチ変動量が所定値を超える場合に、音量
及びピッチ変動量が所定内に収まるように音量及びピッチを変換して出力するように制御
することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２００４－２５２０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、特許文献１に記載の方法で話し手の発話音声を変換するだけで
は、話し手（第１のユーザ）の感情が十分に抑制されず、聞き手（第２のユーザ）のスト
レスを十分に軽減できない恐れがある。一方、聞き手のストレスを軽減するために、聞き
手に出力される話し手の発話音声を変換すると、聞き手が話し手の感情を十分に認識でき
ず、聞き手が適切な応対を行うことができない恐れもある。
【０００６】
そこで、本発明は、聞き手のストレスの十分な軽減、及び／又は、聞き手の適切な応対
を可能とする音声処理システム、音声処理装置及び音声処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の一つの態様に係る音声処理システムは、第１のユーザの発話音声の信号である
発話音声信号を取得する取得部と、前記発話音声信号に基づいて抽出される特徴量を音声
認識モデルに入力して、一以上の単語からなる単語列を含むテキストデータを生成する音
声認識部と、前記テキストデータに基づいて抽出される特徴量を音声合成モデルに入力し
て、合成音声の信号である合成音声信号を生成する音声合成部と、第２のユーザに対して
前記合成音声を出力する音声出力部と、を備える。
【０００８】
この態様によれば、第１のユーザの発話音声信号に基づいてテキストデータを生成し、
当該テキストデータに基づいて生成される合成音声を第２のユーザに出力する。このため
、第１のユーザの発話音声に含まれる顧客の感情を十分に抑制した合成音声を第２のユー
ザに聞かせることができ、第１のユーザの感情的発話に起因する第２のユーザのストレス
を十分に軽減できる。
【０００９】
上記音声処理システムにおいて、前記感情認識部は、発話音声信号、当該発話音声信号
から抽出した特徴量、当該発話音声信号から生成したテキストデータ、当該テキストデー
タから抽出された特徴量、又はこれらの少なくとも二つの組み合わせを入力とし、当該発
話音声信号の発話者の感情情報を出力するよう機械学習された感情認識モデルに、前記取
得部が取得した発話音声信号、当該発話音声信号から抽出した音声特徴量、当該発話音声
信号から生成したテキストデータ、当該テキストデータに対応するテキスト特徴量、又は
これらの少なくとも二つの組み合わせを入力することにより、前記取得部が取得した発話
音声信号に対応する第１のユーザの感情情報を生成してもよい。
【図面の簡単な説明】
【００１０】
本実施形態に係る音声処理システム１の概略の一例を示す図である。
本実施形態に係る音声処理システム１を構成する各装置の物理構成の一例を示す図である。
本実施形態に係る音声処理装置１０の機能構成の一例を示す図である。
本実施形態に係る合成音声信号の生成の一例を示す図である。
本実施形態に係る顧客の感情情報の生成の一例を示す図である。
本実施形態に係る顧客の感情情報の生成の一例を示す図である。
本実施形態に係るオペレータ端末２０の機能構成の一例を示す図である。
本実施形態に係る画面Ｄ１の一例を示す図である。
本実施形態に係る画面Ｄ２の一例を示す図である。
本実施形態に係る感情抑制動作の一例を示すフローチャートである。
本実施形態に係る感情抑制機能の自動切り替え動作を示すフローチャートである。
本実施形態の変更例に係る合成音声信号の生成の一例を示す図である。
本実施形態に係る画面Ｄ３の一例を示す図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許