特許ウォッチ

公開番号2025139845
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024038898
出願日2024-03-13
発明の名称音声認識装置、音声認識方法、及びプログラム
出願人本田技研工業株式会社
代理人個人,個人,個人
主分類G10L 15/16 20060101AFI20250919BHJP(楽器;音響)
要約【課題】音声認識の精度を更に向上させることができる音声認識装置、音声認識方法、及びプログラムを提供する。
【解決手段】音声認識装置は、音声ストリームのフレームを取得する取得部と、ストリーミングエンコーダを用いて、前記フレームから第1特徴を生成するストリーミング特徴生成部と、ストリーミングデコーダを用いて、前記第1特徴から第1文字を生成するストリーミング文字生成部と、ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第1特徴を合わせた第1特徴列から、第2特徴列を生成するノンストリーミング特徴生成部と、複数のノンストリーミングデコーダを用いて、前記第2特徴列から第2文字列を生成するストリーミング文字生成部と、前記第1特徴列及び前記第2特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行う学習部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
音声ストリームの単位時間あたりのフレームを取得する取得部と、
ストリーミングエンコーダを用いて、前記フレームから第１特徴を生成するストリーミング特徴生成部と、
ストリーミングデコーダを用いて、前記第１特徴から第１文字を生成するストリーミング文字生成部と、
ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第１特徴を合わせた第１特徴列から、第２特徴列を生成するノンストリーミング特徴生成部と、
複数のノンストリーミングデコーダを用いて、前記第２特徴列から第２文字列を生成するストリーミング文字生成部と、
前記第１特徴列及び前記第２特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行う学習部と、
を備える音声認識装置。
続きを表示（約 1,200 文字）【請求項２】
前記学習部は、前記第１特徴列が前記第２特徴列に類似するように、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で前記知識蒸留を行う、
請求項１に記載の音声認識装置。
【請求項３】
前記学習部は、更に、複数の前記第１特徴のそれぞれから生成された前記第１文字を時系列に並べた第１文字列の尤度と、前記第２特徴列から生成された前記第２文字列の尤度とに基づいて、前記ストリーミングデコーダと前記複数のノンストリーミングデコーダとの間で前記知識蒸留を行う、
請求項１又は２に記載の音声認識装置。
【請求項４】
前記ストリーミングデコーダには、前記第１文字を予測する予測器が少なくとも含まれており、
前記複数のノンストリーミングデコーダには、アテンション機構を含むデコーダであるアテンションデコーダが少なくとも含まれており、
前記学習部は、前記予測器によって予測される前記第１文字を時系列に並べた前記第１文字列の尤度が前記アテンションデコーダによって出力される前記第２文字列の尤度に類似するように、前記予測器と前記アテンションデコーダとの間で前記知識蒸留を行う、
請求項３に記載の音声認識装置。
【請求項５】
音声ストリームの単位時間あたりのフレームを取得すること、
ストリーミングエンコーダを用いて、前記フレームから第１特徴を生成すること、
ストリーミングデコーダを用いて、前記第１特徴から第１文字を生成すること、
ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第１特徴を合わせた第１特徴列から、第２特徴列を生成すること、
複数のノンストリーミングデコーダを用いて、前記第２特徴列から第２文字列を生成すること、
前記第１特徴列及び前記第２特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行うこと、
を含む音声認識方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
音声ストリームの単位時間あたりのフレームを取得すること、
ストリーミングエンコーダを用いて、前記フレームから第１特徴を生成すること、
ストリーミングデコーダを用いて、前記第１特徴から第１文字を生成すること、
ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第１特徴を合わせた第１特徴列から、第２特徴列を生成すること、
複数のノンストリーミングデコーダを用いて、前記第２特徴列から第２文字列を生成すること、
前記第１特徴列及び前記第２特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行うこと、
を含むプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、音声認識装置、音声認識方法、及びプログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
エンドツーエンド（Ｅ２Ｅ）自動音声認識（ＡＳＲ）は、ストリーミングとノンストリーミングの２つのモードで動作する（例えば非特許文献１参照）。ストリーミングＡＳＲとノンストリーミングＡＳＲには、それぞれに長所と短所があることが知られている。ストリーミングＡＳＲは、音声フレームを受信しながらリアルタイムで処理することができるが、音声認識の精度がノンストリーミングＡＳＲに比べて低い傾向にある。一方で、ノンストリーミングＡＳＲは、音声フレームをリアルタイムで処理することができず、音声発話の全体を待つ必要があるものの、音声認識の精度がストリーミングＡＳＲに比べて高い傾向にある。
【先行技術文献】
【非特許文献】
【０００３】
Arun Narayanan, Tara N. Sainath, Ruoming Pang, Jiahui Yu, Chung-Cheng Chiu, Rohit Prabhavalkar, Ehsan Variani, Trevor Strohman, “Cascaded encoders for unifying streaming and non-streaming ASR,” in Proc. ICASSP, 2021, DOI: org/10.48550/arXiv.2010.14606.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、ストリーミングＡＳＲとノンストリーミングＡＳＲとを組み合わせて音声認識の精度を向上させることについて改善の余地があった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、音声認識の精度を更に向上させることができる音声認識装置、音声認識方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明に係る音声認識装置、音声認識方法、及びプログラムは以下の構成を採用した。
（１）本発明の第１の例は、音声ストリームの単位時間あたりのフレームを取得する取得部と、ストリーミングエンコーダを用いて、前記フレームから第１特徴を生成するストリーミング特徴生成部と、ストリーミングデコーダを用いて、前記第１特徴から第１文字を生成するストリーミング文字生成部と、ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第１特徴を合わせた第１特徴列から、第２特徴列を生成するノンストリーミング特徴生成部と、複数のノンストリーミングデコーダを用いて、前記第２特徴列から第２文字列を生成するストリーミング文字生成部と、前記第１特徴列及び前記第２特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行う学習部と、を備える音声認識装置である。
【０００７】
（２）本発明の第２の例は、第１の例において、前記学習部は、前記第１特徴列が前記第２特徴列に類似するように、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で前記知識蒸留を行うものである。
【０００８】
（３）本発明の第３の例は、第１又は第２の例において、前記学習部は、更に、複数の前記第１特徴のそれぞれから生成された前記第１文字を時系列に並べた第１文字列の尤度と、前記第２特徴列から生成された前記第２文字列の尤度とに基づいて、前記ストリーミングデコーダと前記複数のノンストリーミングデコーダとの間で前記知識蒸留を行うものである。
【０００９】
（４）本発明の第４の例は、第３の例において、前記ストリーミングデコーダには、前記第１文字を予測する予測器が少なくとも含まれており、前記複数のノンストリーミングデコーダには、アテンション機構を含むデコーダであるアテンションデコーダが少なくとも含まれており、前記学習部は、前記予測器によって予測される前記第１文字を時系列に並べた前記第１文字列の尤度が前記アテンションデコーダによって出力される前記第２文字列の尤度に類似するように、前記予測器と前記アテンションデコーダとの間で前記知識蒸留を行うものである。
【００１０】
（５）本発明の第５の例は、音声ストリームの単位時間あたりのフレームを取得すること、ストリーミングエンコーダを用いて、前記フレームから第１特徴を生成すること、ストリーミングデコーダを用いて、前記第１特徴から第１文字を生成すること、ノンストリーミングエンコーダを用いて、複数の前記フレームのそれぞれの前記第１特徴を合わせた第１特徴列から、第２特徴列を生成すること、複数のノンストリーミングデコーダを用いて、前記第２特徴列から第２文字列を生成すること、前記第１特徴列及び前記第２特徴列に基づいて、前記ストリーミングエンコーダと前記ノンストリーミングエンコーダとの間で知識蒸留を行うこと、を含む音声認識方法である。
（【００１１】以降は省略されています）

関連特許