特許ウォッチ

公開番号2025131875
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2025102590,2024531121
出願日2025-06-18,2023-09-07
発明の名称自己回帰生成ニューラルネットワークを使用するオーディオ生成
出願人グーグルエルエルシー,Google LLC
代理人個人,個人,個人
主分類G10G 1/00 20060101AFI20250902BHJP(楽器;音響)
要約【課題】オーディオ信号の予測を生成するための、コンピュータ記憶媒体にエンコードされたコンピュータプログラムを含む方法、システム、及び装置を提供する。
【解決手段】一実施形態に係る方法は、オーディオ信号を生成するための要求を受信することと、オーディオ信号のセマンティック表現を取得することと、1つまたは複数の生成ニューラルネットワークを使用して、かつ少なくともセマンティック表現を条件としてオーディオ信号の音響表現を生成することと、デコーダニューラルネットワークを使用して少なくとも音響表現を処理して、オーディオ信号の予測を生成することとを含む。
【選択図】図1
特許請求の範囲【請求項１】
オーディオ信号の予測を生成するためのコンピュータ実装方法であって、
時間ウィンドウにまたがる複数の出力時間ステップの各々においてそれぞれのオーディオサンプルを有するオーディオ信号を生成するための要求を受信することと、
前記時間ウィンドウにまたがる複数の第１の時間ステップの各々においてそれぞれのセマンティックトークンを指定する前記オーディオ信号のセマンティック表現を取得することであって、各セマンティックトークンが、セマンティックトークンの語彙から選択され、対応する第１の時間ステップにおける前記オーディオ信号のセマンティックコンテンツを表す、前記取得することと、
１つまたは複数の生成ニューラルネットワークを使用して、かつ少なくとも前記セマンティック表現を条件として、前記オーディオ信号の音響表現を生成することであって、前記音響表現が、前記時間ウィンドウにまたがる複数の第２の時間ステップの各々において１つまたは複数のそれぞれの音響トークンのセットを指定し、第２の時間ステップの各々における前記１つまたは複数のそれぞれの音響トークンが、対応する第２の時間ステップにおける前記オーディオ信号の音響特性を表す、前記生成することと、
デコーダニューラルネットワークを使用して少なくとも前記音響表現を処理して前記オーディオ信号の前記予測を生成することと
を含む、方法。
続きを表示（約 2,100 文字）【請求項２】
前記デコーダニューラルネットワークが、エンコーダニューラルネットワークによって生成された出力を使用して生成された音響表現から、前記デコーダニューラルネットワークによって生成された予測オーディオ信号の再構築品質を測定する目的で前記エンコーダニューラルネットワークと共同で訓練されているニューラルオーディオコーデックのデコーダニューラルネットワークである、請求項１に記載の方法。
【請求項３】
前記音響表現が、前記オーディオ信号を処理することによってエンコーダニューラルネットワークの出力から生成されるであろうグラウンドトゥルース音響表現の予測である、請求項１または２に記載の方法。
【請求項４】
前記エンコーダニューラルネットワークが、前記複数の第２の時間ステップの各々においてそれぞれの埋め込みを出力し、前記グラウンドトゥルース音響表現が、前記それぞれの埋め込みの各々に量子化を適用することによって生成される、請求項３に記載の方法。
【請求項５】
前記量子化が、各々がベクトル量子化器についての音響トークンの対応する語彙からそれぞれの音響トークンを生成する複数の前記ベクトル量子化器の階層を使用して各埋め込みをエンコードする残差ベクトル量子化であり、前記階層が、前記階層内の１つまたは複数の最初の位置にある１つまたは複数の粗いベクトル量子化器と、前記階層内の１つまたは複数の最後の位置にある１つまたは複数の細かい量子化器とを備え、
第２の時間ステップの各々における前記１つまたは複数のそれぞれの音響トークンのセットが、ベクトル量子化器ごとに、前記ベクトル量子化器の前記語彙から選択され、前記第２の時間ステップにおいて前記エンコーダニューラルネットワークによって生成されたグラウンドトゥルース埋め込みから前記ベクトル量子化器によって生成されるであろうグラウンドトゥルース音響トークンの予測であるそれぞれの音響トークンを含む、
請求項４に記載の方法。
【請求項６】
前記複数の第２の時間ステップの各々における前記１つまたは複数のそれぞれの音響トークンのセットが、前記第２の時間ステップにおける前記オーディオ信号の音響特性を表す埋め込みに適用された残差ベクトル量子化の出力の予測を集合的に表す複数の音響トークンを含み、
前記残差ベクトル量子化が、各々がベクトル量子化器についての音響トークンの対応する語彙からそれぞれの音響トークンを生成する複数の前記ベクトル量子化器の階層を使用して前記埋め込みをエンコードし、前記階層が、前記階層内の１つまたは複数の最初の位置にある１つまたは複数の粗いベクトル量子化器と、前記階層内の１つまたは複数の最後の位置にある１つまたは複数の細かいベクトル量子化器とを備え、
第２の時間ステップの各々における前記音響トークンのセットが、ベクトル量子化器ごとに、前記ベクトル量子化器の前記語彙から選択されたそれぞれの音響トークンを含む、
請求項１から５のいずれか一項に記載の方法。
【請求項７】
１つまたは複数の生成ニューラルネットワークを使用して、かつ少なくとも前記セマンティック表現を条件として、前記オーディオ信号の音響表現を生成することが、
第１の生成ニューラルネットワークを使用して、前記階層内の前記１つまたは複数の粗いベクトル量子化器の各々について、少なくとも前記セマンティック表現を条件として、前記ベクトル量子化器の前記第２の時間ステップの前記それぞれの音響トークンを生成することを含む、
請求項５または請求項６に記載の方法。
【請求項８】
前記第１の生成ニューラルネットワークが、第１の生成順序に従って前記音響トークンを自己回帰的に生成するように構成された自己回帰ニューラルネットワークであり、各特定の粗いベクトル量子化器についての各特定の第２の時間ステップにおける各特定の音響トークンが、少なくとも前記セマンティック表現、及び前記第１の生成順序で前記特定の音響トークンに先行する任意の音響トークンを条件とする、請求項７に記載の方法。
【請求項９】
各特定の粗いベクトル量子化器についての各特定の第２の時間ステップにおける各特定の音響トークンの前に、（ｉ）前記特定の第２の時間ステップに先行する任意の第２の時間ステップにおける前記粗いベクトル量子化器のうちのいずれかについての任意の音響トークン、及び（ｉｉ）前記階層内の前記特定のベクトル量子化器に先行する任意の粗いベクトル量子化器の前記特定の第２の時間ステップにおける任意の音響トークンが前記第１の生成順序で先行する、請求項８に記載の方法。
【請求項１０】
前記第１の生成ニューラルネットワークが、デコーダ専用のトランスフォーマアーキテクチャ、またはエンコーダ－デコーダのトランスフォーマアーキテクチャを有する、請求項６から９のいずれか一項に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０２２年９月７日に出願された米国仮出願第６３／４０４，５２８号及び２０２３年１月２６日に出願された米国仮出願第６３／４４１，４１２号に対する優先権を主張する。先行出願の開示は、本出願の開示の一部と見なされ、参照により本出願の開示に組み込まれる。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
本明細書は、ニューラルネットワークを使用してオーディオを生成にすることに関する。
【０００３】
ニューラルネットワークは、受信した入力に対する出力を予測するために１つまたは複数の非線形ユニットの層を使用する機械学習モデルである。一部のニューラルネットワークは、出力層に加えて１つまたは複数の隠し層を含む。各隠し層の出力は、ネットワーク内の次の層、つまり、次の隠し層または出力層への入力として使用される。ネットワークの各層は、それぞれのパラメータセットの現在の値の入力に従って、受信した入力から出力を生成する。
【発明の概要】
【０００４】
本明細書は、１つまたは複数の生成ニューラルネットワークを使用してオーディオ信号を生成する、１つまたは複数の場所にある１つまたは複数のコンピュータ上でコンピュータプログラムとして実装されるシステムを説明する。
【０００５】
一般に、出力オーディオ信号は、指定された時間ウィンドウにまたがる出力時間ステップのシーケンスのそれぞれにおける音波のサンプルを含む出力オーディオ例である。例えば、出力時間ステップは、指定された時間ウィンドウ内で一定の間隔で配置できる。
【０００６】
所与の出力時間ステップにおけるオーディオサンプルは、音波の振幅値であるか、または圧縮、圧伸、もしくはその両方が行われた振幅値であり得る。例えば、オーディオサンプルは、未処理の振幅値、または振幅値のｍｕ－ｌａｗ圧伸表現であり得る。
【０００７】
第１の態様によれば、オーディオ信号の予測を生成するための方法が提供され、方法は、時間ウィンドウにまたがる複数の出力時間ステップの各々においてそれぞれのオーディオサンプルを有するオーディオ信号を生成するための要求を受信することと、時間ウィンドウにまたがる複数の第１の時間ステップの各々においてそれぞれのセマンティックトークンを指定するオーディオ信号のセマンティック表現を取得することであって、各セマンティックトークンが、セマンティックトークンの語彙(a vocabulary of semantic tokens)から選択され、対応する第１の時間ステップにおけるオーディオ信号のセマンティックコンテンツを表す、取得することと、１つまたは複数の生成ニューラルネットワークを使用し、少なくともセマンティック表現を条件として、オーディオ信号の音響表現を生成することであって、音響表現が、時間ウィンドウにまたがる複数の第２の時間ステップの各々において１つまたは複数のそれぞれの音響トークンのセットを指定し、それぞれの第２の時間ステップにおける１つまたは複数のそれぞれの音響トークンが、対応する第２の時間ステップにおけるオーディオ信号の音響特性を表す、生成することと、デコーダニューラルネットワークを使用して少なくとも音響表現を処理してオーディオ信号の予測を生成することとを含む。
【０００８】
いくつかの実施態様では、デコーダニューラルネットワークは、エンコーダニューラルネットワークによって生成された出力を使用して生成された音響表現から、デコーダニューラルネットワークによって生成された予測オーディオ信号の再構築品質を測定する目的でエンコーダニューラルネットワークと共同で訓練されているニューラルオーディオコーデックのデコーダニューラルネットワークである。
【０００９】
いくつかの実施態様では、音響表現は、オーディオ信号を処理することによってエンコーダニューラルネットワークの出力から生成されるであろうグラウンドトゥルース音響表現の予測である。
【００１０】
いくつかの実施態様では、エンコーダニューラルネットワークは、複数の第２の時間ステップの各々においてそれぞれの埋め込みを出力し、グラウンドトゥルース音響表現は、それぞれの埋め込みの各々に量子化を適用することによって生成される。
（【００１１】以降は省略されています）

関連特許