特許ウォッチ

公開番号2025108249
公報種別公開特許公報(A)
公開日2025-07-23
出願番号2024002058
出願日2024-01-10
発明の名称処理装置、処理方法及び処理プログラム
出願人NTTドコモビジネス株式会社
代理人弁理士法人酒井国際特許事務所
主分類G10L 15/22 20060101AFI20250715BHJP(楽器;音響)
要約【課題】対話者間でのコミュニケーションを補助する。
【解決手段】処理装置10Bは、第1のユーザと第2のユーザが発した音声データをテキストに変換する音声認識部12と、発話者が発話した音声データを変換したテキストと、発話者を撮像した画像に基づくデータとを基に、テキストを修正するよう訓練された機械学習モデルを用いて、音声認識部12によって変換されたテキストを修正し、修正した第1の修正テキストを、第1のユーザ及び第2のユーザが使用するユーザインターフェースに出力する修正部17Bと、を有する。
【選択図】図18
特許請求の範囲【請求項１】
第１のユーザが発した音声データと、第２のユーザが発した音声データと、の入力を受け付ける音声入力部と、
前記第１のユーザを撮像した画像と、前記第２のユーザを撮像した画像と、の入力を受け付ける画像入力部と、
前記音声入力部が入力を受け付けた前記音声データに対して音声認識を行い、前記音声データをテキストに変換する音声認識部と、
発話者が発話した音声データを変換したテキストと、前記発話者を撮像した画像に基づくデータとを基に、前記テキストを修正するよう訓練された機械学習モデルを用いて、前記音声認識部によって変換されたテキストを修正し、修正した第１の修正テキストを、前記第１のユーザ及び前記第２のユーザが使用するユーザインターフェースに出力する修正部と、
を有することを特徴とする処理装置。
続きを表示（約 2,800 文字）【請求項２】
前記画像入力部が入力を受け付けた前記画像の説明文を生成する生成部をさらに有し、
前記機械学習モデルは、前記発話者が発話した音声データを変換したテキストと、前記発話者を撮像した画像の説明文とが入力されると、前記テキストを修正した修正テキストを出力する言語モデルであり、
前記修正部は、前記言語モデルを用いて、前記音声認識部によって変換されたテキストと、前記生成部によって生成された画像の説明文とを基に、前記音声認識部によって変換されたテキストを修正することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記言語モデルは、前記第１のユーザと前記第２のユーザとの対話に対応させたプロンプトが与えられ、入力されたテキストを、自然な文脈で出てくるテキストに修正した前記第１の修正テキストを生成し、
前記プロンプトは、前記言語モデルが前記第１のユーザ及び前記第２のユーザの会話における発言を補完及び／または修正するタスクを負うことと、過去の会話履歴と現在の状況を示す前記画像の説明文とを基に現在の発言を補完する第１のステップ、前記第１のステップの結果を修正する第２のステップ、前記第２のステップの結果として前記現在の発言を修正したテキストを出力する第３のステップを順次行うことで文章の修正を行うことを指令するとともに、過去の会話履歴と、現在の発言と、現在の状況を示す前記画像の説明文と、を含むことを特徴とする請求項２に記載の処理装置。
【請求項４】
前記言語モデルは、前記第１のユーザと前記第２のユーザとの対話に対応させたプロンプトが与えられ、入力されたテキストを、自然な文脈で出てくるテキストに修正後、指定言語に翻訳した前記第１の修正テキストを生成し、
前記プロンプトは、前記言語モデルが前記第１のユーザ及び前記第２のユーザの会話における発言を翻訳しながら補完及び／または修正するタスクを負うことと、過去の会話履歴と現在の状況を示す前記画像の説明文とを基に現在の発言を補完する第１のステップ、前記第１のステップの結果を修正する第２のステップ、前記第２のステップの結果として前記現在の発言を修正したテキストを指定の言語に翻訳する第３のステップ、前記第３のステップの結果として、翻訳済みの、前記現在の発言を修正したテキストを出力する第４のステップを順次行うことで文章の修正を行うことを指令するとともに、過去の会話履歴と、現在の発言と、現在の状況を示す前記画像の説明文とを含むことを特徴とする請求項２に記載の処理装置。
【請求項５】
任意のユーザによって前記第１の修正テキストの誤りが修正された第２の修正テキストの入力があった場合には前記第２の修正テキストを修正履歴としてデータベースに蓄積し、前記第２の修正テキストの入力がなかった場合には前記第１の修正テキストを修正履歴として前記データベースに蓄積する蓄積部と、
前記データベースに蓄積された修正履歴を再学習用データとして、前記言語モデルのパラメータを最適化する最適化部と、
を有することを特徴とする請求項２に記載の処理装置。
【請求項６】
任意のユーザによって前記第１の修正テキストの誤りが修正された第２の修正テキストの入力があった場合には、前記第２の修正テキストを、前記音声認識部によって変換されたテキスト及び前記画像の説明文をベクトル化した埋め込みベクトルとともに、履歴としてデータベースに蓄積し、前記第２の修正テキストの入力がなかった場合には、前記第１の修正テキストを、前記音声認識部によって変換されたテキスト及び前記画像の説明文をベクトル化した埋め込みベクトルとともに、履歴として前記データベースに蓄積する蓄積部と、
前記第１のユーザ及び／または前記第２のユーザの音声データが新たに入力された場合、前記データベースに蓄積された各履歴のうち、新たに入力された音声データの埋め込みベクトルと類似する埋め込みベクトルを含む前記履歴を検索し、検索した履歴を、参考情報として追加したプロンプトを、前記言語モデルに与える補正部と、
を有することを特徴とする請求項２に記載の処理装置。
【請求項７】
前記ユーザインターフェースは、前記第１のユーザ及び前記第２のユーザが使用する端末装置、前記第１のユーザ及び前記第２のユーザがそれぞれ装着するＡＲ（Augmented Reality）グラスまたはＶＲ（Virtual Reality）ゴーグル、前記第１のユーザ及び前記第２のユーザが前記第１の修正テキストを視認可能であるディスプレイであることを特徴とする請求項１に記載の処理装置。
【請求項８】
処理装置が実行する処理方法であって、
第１のユーザが発した音声データと、第２のユーザが発した音声データと、の入力を受け付ける音声入力工程と、
前記第１のユーザを撮像した画像と、前記第２のユーザを撮像した画像と、の入力を受け付ける画像入力工程と、
前記音声入力工程において入力を受け付けた前記音声データに対して音声認識を行い、前記音声データをテキストに変換する音声認識工程と、
発話者が発話した音声データを変換したテキストと、前記発話者を撮像した画像に基づくデータとを基に、前記テキストを修正するよう訓練された機械学習モデルを用いて、前記音声認識工程において変換されたテキストを修正し、修正した第１の修正テキストを、前記第１のユーザ及び前記第２のユーザが使用するユーザインターフェースに出力する修正工程と、
を含んだことを特徴とする処理方法。
【請求項９】
第１のユーザが発した音声データと、第２のユーザが発した音声データと、の入力を受け付ける音声入力ステップと、
前記第１のユーザを撮像した画像と、前記第２のユーザを撮像した画像と、の入力を受け付ける画像入力ステップと、
前記音声入力ステップにおいて入力を受け付けた前記音声データに対して音声認識を行い、前記音声データをテキストに変換する音声認識ステップと、
発話者が発話した音声データを変換したテキストと、前記発話者を撮像した画像に基づくデータとを基に、前記テキストを修正するよう訓練された機械学習モデルを用いて、前記音声認識ステップにおいて変換されたテキストを修正し、修正した第１の修正テキストを、前記第１のユーザ及び前記第２のユーザが使用するユーザインターフェースに出力する修正ステップと、
をコンピュータに実行させるための処理プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、処理装置、処理方法及び処理プログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
ＴＶ番組などへの音声字幕提示は、聴覚障碍者への情報補償を主な目的にその普及が進んだ。やがて、動画内に提示される音声字幕以外の解説などの文字情報が、音声字幕と渾然一体となって活用されはじめるようになると、音声字幕提示は、聴覚障碍者に対してのみならず文字を読むことのできるあらゆる人に対して、人間の音声情報を補完する情報補償の役割を持ち始めるようになった。
【０００３】
音声字幕の発達過程では、人間が見聞きした言葉を直接文章に書き起こし、それを画面に文字として貼り付ける形で生成・提供されてきた。技術の発達とともに、音声認識技術のリアルタイム性が向上するにつれ、音声認識によって人間の音声データをテキストデータに変換し、撮影中の動画や字幕表示用のインタフェースなどに、発話と同時的に字幕をレンダリングするリアルタイム字幕システムが登場した。
【０００４】
このように現在では、高速な音声認識技術によって発話と同時的に音声字幕が生成され、聴覚障害者のみならず、識字が可能なあらゆる人にとってコミュニケーションを円滑にする役割を持ち始めている。例えば、字幕によって言語コミュニケーションを補助するシステムとして、音声認識を行なって字幕を表示するシステムや、対面の説明員が説明した内容をリアルタイムに字幕で表示するシステム（非特許文献１）がある。
【先行技術文献】
【非特許文献】
【０００５】
Ippei Suzuki, et al,“See-Through Captions in a Museum Guided Tour: Exploring Museum Guided Tour for Deaf and Hard-of-Hearing People with Real-Time Captioning on Transparent Display”, ICCHP-AAATE 2022: Computers Helping People with Special Needs pp 542－552, [online]、[２０２３年１２月１３日検索]、インターネット＜https://link.springer.com/chapter/10.1007/978-3-031-08648-9_64＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の字幕表示システムでは、以下の二つの課題がある。
【０００７】
第１の課題について説明する。吃音や第二外国語で話す場合など、自分の本当に話したいことを、本来意図した通りに声にだして言葉にできない人物にとって、他者に自分の意図を伝えることは少々の困難を伴う。しかしながら、音声認識によって音声字幕をリアルタイムに表示するシステムは、通常、健常者の淀みの少ない発話や精度の高い音声認識システムを前提とし、そのような前提を満たすことができない状況下で不安定な字幕を表示してしまう。
【０００８】
このように、従来の字幕システムでは、はっきりと話せる健常な人物や高精度な音声認識技術を前提としており、音声認識結果が間違ってしまう場合や、吃音やいい間違えをした場合に文脈的に誤りである単語や同音異義語などがそのまま字幕として表示されてしまう。
【０００９】
第２の課題について説明する。リアルタイム音声認識システムはマルチモーダルなシステムではなく、音声情報のみをテキストデータに変換するシステムである。人間の発話内容は会話する相手の発話内容のみならず、さまざまな情報に依存してその内容が決まっている。しかしながら、通常のリアルタイム音声認識システムは音声データをテキストに変換することのみで会話内容を認識する。このことは、同音異字、同音異義語、音韻間違えによる単語間違えなど、人間にとって違和感のある音声字幕を表示する原因となる。
【００１０】
本発明は、上記に鑑みてなされたものであって、話者間でのコミュニケーションを補助することができる処理装置、処理方法及び処理プログラムを提供することを目的とする。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許