特許ウォッチ

公開番号2025100333
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2024168492
出願日2024-09-27
発明の名称大規模言語モデルを使用したデータ調整
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06N 20/00 20190101AFI20250626BHJP(計算;計数)
要約【課題】大規模言語モデルを使用して機械学習モデルのためのデータを調整する方法、システム及び非一時的なコンピュータ可読媒体を提供する。
【解決手段】方法は、データセットのある特徴に対応する複数のデータサブセットを含むデータセットにアクセスし、データサブセット内のデータを、データの特性を決定するために解析し、決定した特性に基づいて、データサブセットのうちの1つのための複数のプロンプト・テンプレートからプロンプト・テンプレートを選択し、プロンプト・テンプレートと、データサブセットのうちの1つからのデータとを使用して、プロンプトを生成し、大規模言語モデル(LLM)に提供する。プロンプトは、LLMに、データサブセットのうちの1つのデータに関して一つ又は複数の動作を実行するように指令し、1つ又は複数の追加のデータサブセットを、LLMの応答に基づいてデータセットのために作成する。
【選択図】図1B
特許請求の範囲【請求項１】
複数のデータサブセットを含むデータセットにアクセスする段階であって、各データサブセットは、前記データセットのある特徴に対応する、段階と；
前記データサブセットのうちの1つのデータサブセットにおけるデータを解析して、該データの特性を決定する段階と；
前記データサブセットのうちの前記1つのデータサブセットの前記データの決定された特性に基づいて、前記データサブセットのうちの前記1つのデータサブセットのための複数のプロンプト・テンプレートからプロンプト・テンプレートを選択する段階と；
前記プロンプト・テンプレートと、前記データサブセットのうちの前記1つのデータサブセットからの前記データとを使用して、複数の大規模言語モデル・プロンプトを生成する段階と；
前記複数の大規模言語モデル・プロンプトを、大規模言語モデルに提供する段階であって、前記複数の大規模言語モデル・プロンプトは、前記大規模言語モデルに、前記データサブセットのうちの前記1つのデータサブセットの前記データに関して一つまたは複数の動作を実行するように指令する、段階と；
前記大規模言語モデルの応答に基づいて前記データセットについて一つまたは複数の追加のデータサブセットを生成する段階であって、前記一つまたは複数の追加のデータサブセットのそれぞれは、前記データセットの新しい特徴に対応する、段階とを含む、
方法。
続きを表示（約 1,300 文字）【請求項２】
前記データセットを使用して機械学習（ML）モデルをトレーニングする段階と；
前記MLモデルを使用して一つまたは複数の動作を実行する段階と
をさらに含む、請求項１に記載の方法。
【請求項３】
前記データサブセットのうちの前記1つのデータサブセットからの前記データは、キャラクタ・ストリングを含み、前記複数の大規模言語モデル・プロンプトは、前記キャラクタ・ストリングのそれぞれを2つ以上のサブストリングに分割することを含み、前記一つまたは複数の追加のデータサブセットは、前記2つ以上のサブストリングを使用して生成される、請求項１に記載の方法。
【請求項４】
前記データサブセットのうちの前記1つのデータサブセットの前記データの一部が前記大規模言語モデルに提供され、当該方法は：
前記大規模言語モデルの前記応答に基づいてストリング分割規則を決定する段階と；
前記ストリング分割規則を使用して、前記データサブセットのうちの前記1つのデータサブセットの前記データの残りの部分を2つ以上のサブストリングに分割する段階と
をさらに含む、請求項３に記載の方法。
【請求項５】
前記ストリング分割規則の品質が機械学習モデルのために十分であるかどうかを判定する段階と；
前記ストリング分割規則が前記機械学習モデルのために十分でないと判定したことに応答して、新しいストリング分割規則を決定する段階と
をさらに含む、請求項４に記載の方法。
【請求項６】
前記複数の大規模言語モデル・プロンプトは、前記データサブセットのうちの前記1つのデータサブセットの前記データをクラスタリングすることを含み、当該方法は、前記大規模言語モデルの前記応答によって識別された各クラスターのために識別子を割り当てることをさらに含み、前記一つまたは複数の追加のデータサブセットは、前記クラスターに関する情報を含む、請求項１に記載の方法。
【請求項７】
前記複数の大規模言語モデル・プロンプトは、前記大規模言語モデルに並列に提供される、請求項１に記載の方法。
【請求項８】
前記データサブセットのうちの前記1つのデータサブセットを前記一つまたは複数の追加のデータサブセットのうちの1つで置き換える段階をさらに含む、請求項１に記載の方法。
【請求項９】
前記データサブセットのうちの前記1つのデータサブセットからのデータが、テキスト・データであり、前記複数の大規模言語モデル・プロンプトは、前記テキストに関する追加情報を要求することを含み、前記一つまたは複数の追加データサブセットは、前記大規模言語モデルからの前記追加情報を含む、請求項１に記載の方法。
【請求項１０】
前記データサブセットのうちの前記1つのデータサブセットからのデータが、テキスト・データであり、前記一つまたは複数の追加のデータサブセットは、前記データサブセットにおける個々のフレーズのサブフレーズに関する情報を含む、請求項１に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、概括的には、大規模言語モデルを使用して機械学習モデルのためのデータを調整することに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
機械学習（ML）モデルは、トレーニング・データセットを使用してトレーニングされる。トレーニング・データセットの品質は、MLモデルによって行われる予測の精度およびリアルさに影響を及ぼす。たとえば、トレーニング・データセットは、MLモデルの予測パターンを定義してもよい。さまざまなシナリオおよび特徴を含む、十分に多様化された代表的なトレーニング・データセットは、MLモデルが、異なるさまざまな入力データに対して有効な予測を行うことを許容しうる。
【０００３】
本開示において請求される主題は、何らかの欠点を解決する実施形態、または、上述したような環境においてのみ動作する実施形態に限定されない。むしろ、この背景は、本開示に記載されるいくつかの実施形態が実施されうる1つの例示的な技術分野を示すためにのみ提供される。
【発明の概要】
【課題を解決するための手段】
【０００４】
ある実施形態のある側面によれば、方法は、複数のデータサブセットを含むデータセットにアクセスすることを含んでいてもよく、各データサブセットは、データセットのある特徴に対応する。前記1つまたはそれらのデータサブセット内のデータは、該データの特性を決定するために解析されうる。加えて、データサブセットのうちの1つのデータの決定された特性に基づいて、データサブセットのうちの1つのための複数のプロンプト・テンプレートからプロンプト・テンプレートが選択されうる。プロンプト・テンプレートと、データサブセットのうちの1つからのデータとを使用して、複数の大規模言語モデル・プロンプトが生成されうる。複数の大規模言語モデル・プロンプトは、大規模言語モデルに提供されうる。複数の大規模言語モデル・プロンプトは、大規模言語モデルに、データサブセットのうちの1つのデータに関して一つまたは複数の動作を実行するように指令することができる。一つまたは複数の追加のデータサブセットが、大規模言語モデルの応答に基づいてデータセットのために作成されうる。一つまたは複数の追加のデータサブセットのそれぞれは、データセットの新しい特徴に対応してもよい。
【０００５】
実施形態の目的および利点は、少なくとも、特許請求の範囲において特に指摘される要素、特徴、および組み合わせによって実現され、達成される。上記の一般的な記述および以下の詳細な説明はいずれも説明するものであり、特許請求される発明を制約するものではないことが理解される。
【図面の簡単な説明】
【０００６】
例示的な実施形態が、添付の図面を通して、さらなる具体さおよび詳細とともに記載され、説明される。
【０００７】
機械学習モデルをトレーニングするための例示的なシステムを示す。
【０００８】
機械学習モデルをトレーニングするために使用されるデータセットを調整するように構成された例示的なシステムを示す。
【０００９】
機械学習モデルをトレーニングするために使用されるデータセットを調整するように構成された別の例示的なシステムを示す。
【００１０】
データセットの一つまたは複数のデータサブセットを調整する例示的な方法のフローチャートを示す。
（【００１１】以降は省略されています）

関連特許