特許ウォッチ

公開番号2025141794
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024225979
出願日2024-12-23
発明の名称敵対的ロバスト性のための離散入力の変換のためのシステムおよび方法
出願人三菱電機株式会社
代理人弁理士法人深見特許事務所
主分類G06N 3/045 20230101AFI20250919BHJP(計算;計数)
要約【課題】実施形態は、ニューラルネットワークを用いた離散入力のロバストな変換のための方法およびシステムを開示する。
【解決手段】ニューラルネットワークは、埋め込みサブネットワークおよび変換サブネットワークを含む。本方法は、埋め込みサブネットワークを使用して連続空間に離散入力を埋め込んで連続埋め込みを生成することと、連続埋め込みに所定の大きさのランダムノイズのセットを注入して、摂動された埋め込みのセットを生成することと、摂動された埋め込みのセットの各々を変換サブネットワークで処理して変換のセットを生成することと、変換のセットの組合せを離散入力のロバストな変換として出力することとを含む。
【選択図】図5
特許請求の範囲【請求項１】
埋め込みサブネットワークおよび変換サブネットワークを含むニューラルネットワークによる離散入力のロバストな変換のための、コンピュータにより実現される人工知能（ＡＩ）方法であって、
前記埋め込みサブネットワークを使用して前記離散入力を連続空間に埋め込んで、連続埋め込みを生成することと、
所定の大きさのランダムノイズのセットを前記連続埋め込みに注入して、摂動された埋め込みのセットを生成することと、
前記変換サブネットワークを用いて前記摂動された埋め込みのセットの各々を処理して、変換のセットを生成することと、
前記変換のセットの組み合わせを前記離散入力の前記ロバストな変換として出力することとを含む、ＡＩ方法。
続きを表示（約 920 文字）【請求項２】
前記離散入力は、１つ以上のカテゴリ値のテンソルを含む、請求項１に記載のＡＩ方法。
【請求項３】
前記離散入力はインターネットプロキシログデータである、請求項１に記載のＡＩ方法。
【請求項４】
前記連続埋め込みは浮動小数点値のテンソルを含む、請求項１に記載のＡＩ方法。
【請求項５】
前記ランダムノイズのセットは、ガウスノイズテンソルのセットを含み、前記ガウスノイズテンソルの各々は、前記浮動小数点値のテンソルの形状を有し、ゼロの平均および前記所定の大きさによって定義される標準偏差を有する独立したガウスサンプルを含む、請求項４に記載のＡＩ方法。
【請求項６】
前記摂動された埋め込みの各々は、前記浮動小数点値のテンソルを前記ガウスノイズテンソルの１つに加算することによって形成される、請求項５に記載のＡＩ方法。
【請求項７】
前記変換サブネットワークは、自動音声認識、言語モデリング、およびログデータモデリングのうちの１つまたは組み合わせのためにトレーニングされるディープニューラルネットワークである、請求項１に記載のＡＩ方法。
【請求項８】
前記変換のセットの前記組み合わせは、前記変換のセットの集約である、請求項１に記載のＡＩ方法。
【請求項９】
前記ロバストな変換が前記変換のセットの平均として求められるように、前記変換のセットの各々は連続テンソルである、請求項１に記載のＡＩ方法。
【請求項１０】
前記変換のセットの各々は、ロジットの１つ以上のベクトルのテンソルであり、前記ＡＩ方法はさらに、
前記ロジットの１つ以上のベクトルの各々をsoftmax演算を介して確率ベクトルに変換して、確率ベクトルのセットを生成することと、
前記確率ベクトルのセットを確率空間において平均化して平均確率ベクトルを生成することと、
前記平均確率ベクトルを使用して前記離散入力の前記ロバストな変換を求めることと含む、請求項１に記載のＡＩ方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概して、敵対的入力攻撃に対する防御のための機械学習システムのトレーニングおよび使用に関し、より詳細には、敵対的入力攻撃に対する防御のための離散入力のロバストな変換のためのシステムおよび方法に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
機械学習（ＭＬ）モデル、特にディープニューラルネットワークは、画像認識、自然言語処理、および自律システムを含む、種々の領域にわたって成功を収めている。しかしながら、これらのＭＬモデルは、敵対的入力攻撃を受けやすく、入力データに対する小さな周到に作成された摂動は、誤分類または誤挙動につながり得る。
【０００３】
敵対的入力攻撃は、機械学習（ＭＬ）モデルに入力データを誤分類させる意図で、入力データに対して小さな周到に作成された改変を行うことを含む。これらの改変は、人間にとっては知覚不可能であることが多いが、ＭＬモデルの出力を有意に変化させ得る。敵対的攻撃は、画像、テキスト、または音声等の入力データに摂動を加算することによって、ＭＬモデルにおける脆弱性を利用する。
【０００４】
敵対的攻撃は、自律車両、医療診断、およびサイバーセキュリティシステムなどの安全を重視する用途におけるＭＬモデルの展開に重大な課題を提起する。入力前処理およびモデル正則化を含む従来の防御機構は、巧妙な敵対的攻撃を克服することにおいて有効性が限定されている。
【０００５】
ある例では、ＭＬモデルは、特に、自動化されたサイバーセキュリティツールのための異常検出を実行するためにネットワークトラフィックログをモデル化するよう使用されるものなどのカテゴリ入力モデルの領域において、敵対的入力摂動攻撃に対して防御されなければならない場合がある。より広義には、この問題は、大きな言語モデル、およびそれらの実用的な展開に対する敵対的入力摂動攻撃の関連する懸念にも関連する。
【０００６】
敵対的攻撃による課題に対処するために、敵対的トレーニングが、敵対的入力攻撃に対するＭＬモデルのロバスト性を強化するために、使用されている。敵対的トレーニングは、敵対的な摂動された例を用いて、ＭＬモデルをトレーニングするためにトレーニングデータを拡張して、ＭＬモデルに、より強靭な決定境界を学習させることを含む。
【０００７】
この目的のために、敵対的トレーニングの有効性は、トレーニングプロセス中に使用されるトレーニングデータにおける敵対例の品質および多様性に大きく依存する。高品質の敵対例を生成するには、攻撃戦略、モデルアーキテクチャ、およびトレーニング目的を含むさまざまな要因を注意深く考慮する必要がある。したがって、トレーニングデータにおける敵対例がさまざまな要因に対応しない場合、ＭＬモデルの敵対的トレーニングは、最適状態に及ばない性能をもたらし得る。
【０００８】
したがって、離散入力および／またはカテゴリ入力の敵対的摂動に対して防御するのに適した、敵対的入力攻撃に対して防御するためのシステムおよび方法を提供する必要がある。
【発明の概要】
【０００９】
いくつかの実施形態の目的は、敵対的入力攻撃に対して防御するためのシステムおよび方法を提供することである。加えて、または代替として、いくつかの実施形態の目的は、敵対的トレーニングを行う必要なく、敵対的入力攻撃に対して防御するためのシステムおよび方法を提供することである。追加または代替として、いくつかの実施形態の目的は、離散入力および／またはカテゴリ入力の敵対的摂動に対して防御するのに適した、敵対的入力攻撃に対して防御するためのシステムおよび方法を提供することである。そのような方法は、本明細書では、離散入力および／またはカテゴリ入力のロバストな変換と呼ばれる。
【００１０】
本開示は、例えば敵対的入力例に対して防御するためといった、入力データの変換のための方法、システム、およびコンピュータプログラム製品に関する。
（【００１１】以降は省略されています）

関連特許