特許ウォッチ

公開番号2025064989
公報種別公開特許公報(A)
公開日2025-04-17
出願番号2024162082
出願日2024-09-19
発明の名称大規模言語モデルのためのグラフに基づくメモリの拡張
出願人本田技研工業株式会社
代理人弁理士法人クシブチ国際特許事務所
主分類G06F 16/3329 20250101AFI20250410BHJP(計算;計数)
要約【課題】自然言語テキストとして記載されアクセスされる情報を記憶・検索するメモリエンジンを用いた支援システム及び方法を提供する。
【解決手段】方法は、自然言語処理モジュールから自然言語の命令を取得して処理し、それに基づくテキストのチャンクを生成し、テキスト埋め込みモジュールTEにより、取得した命令に基づいて生成したテキストのチャンクに基づきベクトルを生成して、生成したテキストのチャンクと関連付けてベクトル埋め込みメモリVEMに記憶し、ベクトル埋め込みメモリを探索して一致するベクトルに対応するノードを決定し、メモリGBMに記憶されている対応するノードを活性化し、活性化されたノードをさらなる処理のために選択し、活性化されたノードに対応するテキストのチャンクを決定し、決定したテキストのチャンクに基づいて、クエリへの応答を生成し、出力する。
【選択図】図2
特許請求の範囲【請求項１】
システム内でユーザまたはエージェントからのクエリに対する応答をエージェントによって生成するためのコンピュータ実装方法であって、前記システムが、
ベクトルおよび生成された自然言語テキストのチャンクを記憶するように構成されたベクトル埋め込みメモリ（ＶＥＭ）と、リンクによって相互に接続されたノードの形態で情報を記憶するように構成されたグラフに基づくメモリ（ＧＢＭ）と、プロセッサ（２１）と、を備え、前記方法が、
前記ベクトル埋め込みメモリ（ＶＥＭ）に記憶されている前記ベクトルと、取得された前記クエリの前記自然言語テキストのチャンクに基づいて生成されたベクトルとの意味的近さに基づいて、前記ベクトル埋め込みメモリ（ＶＥＭ）から一致するベクトルを検索することと、
前記一致するベクトルとの対応関係に基づいて前記グラフに基づくメモリ（ＧＢＭ）に記憶されているノードを決定および活性化し、前記活性化されたノード間のリンクに基づいて、接続されているノードを決定および活性化することと、
前記ベクトル埋め込みメモリ（ＶＥＭ）からの前記一致するベクトルに基づき決定されるテキストのチャンクに基づいて、および、前記グラフに基づくメモリ（ＧＢＭ）の前記活性化されたノードに対応する、決定されたテキストのチャンクにさらに基づいて、前記クエリへの応答を生成することと、を含むコンピュータ実装方法。
続きを表示（約 2,900 文字）【請求項２】
完全なトレーサビリティを可能にするために、前記応答を生成するための基礎として使用されるテキストのチャンクを参照して、前記生成された応答を増強すること
をさらに含む、請求項１に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項３】
自然言語処理モジュール（ＮＬＰ）により、前記ユーザからの自然言語の命令を取得および処理して、テキストのチャンクを生成することと、
テキスト埋め込みモジュール（ＴＥ）により、前記テキストのチャンクに基づいてベクトルを生成することと、
前記ベクトル埋め込みメモリ（ＶＥＭ）により、前記テキスト埋め込みモジュール（ＴＥ）が生成した前記ベクトルを、前記生成されたテキストのチャンクと関連付けて記憶することと、
前記プロセッサ（２１）により、前記ベクトル埋め込みメモリ（ＶＥＭ）を探索して、前記ユーザまたはエージェントからの前記取得されたクエリの前記ベクトルとの類似性に基づいて、一致するベクトルを決定し、前記決定された一致するベクトルの第１の順位付けリストを生成するために、ベクトル検索モジュール（ＶＲ）により、前記ベクトル埋め込みメモリ（ＶＥＭ）に記憶されている前記ベクトルと、前記自然言語処理モジュール（ＮＬＰ）によって取得され処理された前記クエリの前記自然言語テキストのチャンクに基づいて前記テキスト埋め込みモジュール（ＴＥＭ）によって生成されたベクトルと、の意味的近さに基づいて、前記ベクトル埋め込みメモリ（ＶＥＭ）から前記記憶されているベクトルを検索することと、
一致するベクトルの前記第１の順位付けリストの前記決定されたベクトルとの対応関係に基づいて、前記グラフに基づくメモリ（ＧＢＭ）に記憶されているノードを決定して、対応するノードの第２の順位付けリストを生成することと、をさらに含み、
ここで、前記グラフに基づくメモリ（ＧＢＭ）は、リンクによって相互に接続されたノードの形態で情報を記憶し、各ノードは、ある概念を表す特定のテキストのチャンクを含み、各リンクは、前記ノードのうちソースノードとターゲットノードとの間に配置され、各リンクは、前記ソースノードの概念と前記ターゲットノードの概念との間の関係を表し、前記方法はさらに、
前記プロセッサ（２１）により、前記グラフに基づくメモリ（ＧＢＭ）に記憶されている前記対応するノードを活性化すると共に、グラフ横断アルゴリズム、特にランダムウォークまたは個人別設定されたページランクを適用することにより、前記活性化されたノードと、前記グラフに基づくメモリ（ＧＢＭ）の他のノードとの間のリンクに基づいて、接続されているノードを活性化することと、
前記プロセッサ（２１）により、前記グラフに基づくメモリ（ＧＢＭ）に記憶されている前記活性化されたノードを含む第３の順位付けリストを生成し、前記第３の順位付けリストの前記活性化されたノードをさらなる処理のために選択し、前記第３の順位付けリストの前記活性化されたノードに対応するテキストのチャンクを決定することと、
前記自然言語処理モジュール（ＮＬＰ）により、前記第３の順位付けリストの前記活性化されたノードに対応する前記決定されたテキストのチャンクを受け取り、前記ベクトル埋め込みメモリ（ＶＥＭ）の前記記憶されているベクトルと、前記クエリの前記自然言語テキストのチャンクに基づいて前記テキスト埋め込みモジュール（ＴＥＭ）によって生成された前記ベクトルと、の意味的近さに基づいて決定されるテキストのチャンク、および、さらなる処理のための前記第３の順位付けリストの前記活性化されたノードに対応する前記決定されたテキストのチャンクに基づいて、前記クエリへの応答を生成することと、
を含む、請求項１または２に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項４】
前記ベクトル検索モジュール（ＶＲ）により、キーワードに基づく探索と組み合わせて、前記ベクトル埋め込みメモリ（ＶＥＭ）の前記記憶されているベクトルの意味的近さに基づいて、前記ベクトル埋め込みメモリ（ＶＥＭ）から前記ベクトルを検索すること
をさらに含む、請求項３に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項５】
前記ベクトル埋め込みメモリ（ＶＥＭ）および前記グラフに基づくメモリ（ＧＢＭ）に、前記システムの訓練段階で事前にデータ投入することを含む、請求項１から４のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項６】
前記ベクトル埋め込みメモリ（ＶＥＭ）および前記グラフに基づくメモリ（ＧＢＭ）に、前記システムの動作段階中に動的にデータ投入することを含む、請求項１から５のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項７】
各ノードが、抽象化された概念を表す自然言語テキストのチャンクを含む、請求項１から６のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項８】
各概念が、前記グラフに基づくメモリ（ＧＢＭ）に記憶されているノードと、対応するテキストのチャンクと、前記ベクトル埋め込みメモリ（ＶＥＭ）に記憶されている対応するベクトルとによって表される、請求項１から７のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項９】
前記プロセッサ（２１）により、前記ベクトル埋め込みメモリ（ＶＥＭ）に記憶されているベクトルと、前記グラフに基づくメモリ（ＧＢＭ）に記憶されている対応するノードとの間の対応関係を継続的に維持することを含む、請求項１から８のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
【請求項１０】
前記グラフに基づくメモリ（ＧＢＭ）に記憶されている前記ノードが、前記ベクトル埋め込みメモリ（ＶＥＭ）に記憶されている前記ベクトルに対応する概念の上位集合である概念に対応し、
前記グラフに基づくメモリ（ＧＢＭ）が、概念のセットに関する付加的情報を、前記概念のセットの概念と、前記ベクトル埋め込みメモリ（ＶＥＭ）に対応するベクトルが存在しない付加的概念との間の関係の形態で記憶するように構成される
請求項１から９のいずれか一項に記載のユーザまたはエージェントからのクエリに対する応答を生成するためのコンピュータ実装方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、自然言語で記載され、アクセスされる情報を記憶・検索するメモリエンジンを用いた支援システムおよび支援方法の分野にある。詳細には、動的な会話においてクエリへの応答を生成する能力を提供するための技術が開示される。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
自然言語で記述されアクセスされることのある情報を記憶、検索し、検索された情報を使用するシステム、例えば支援システムでは、汎用メモリエンジンが使用される。そのようなシステムの現在の実装は、ディープニューラルネットワーク（ＤＮＮ）、特に大規模言語モデル（ＬＬＭ）、すなわち自然言語（ＮＬ）テキストの大規模なコーパスを基に訓練されたＤＮＮ、を使用することが多い。ＬＬＭは、自然言語テキストのソースを使用した最初の訓練から利用可能となる一般的事実および常識的ステートメントに関する大量の知識を備えている。ＬＬＭの強みは、自然言語のユーザインターフェースと、言語に基づく不確定性を解決し、ユーザからの制約が不十分なクエリに伴い得るギャップを埋めるために人間の常識を取り込むその能力にある。
【０００３】
しかし、現在のＬＬＭにはいくつかの問題が存在する。現在のＬＬＭは、ＬＬＭ内で使用される情報およびユーザから提供されたクエリに対してＬＬＭによって出力される情報の正確性、信頼性、透明性、プライバシー、柔軟性の面で欠陥を呈する。ＬＬＭは、特に付加的なデータ、例えば個人データや独自データ、の管理に関して弱さを呈する。ＬＬＭによる自然言語に基づくテキストの処理は、ある種の統計的に推測される尤度に基づく補完を使用するため、ＬＬＭは、極めて重要な用途の処理には常に機能しない。
【０００４】
例えばエージェントのメモリを増大させる際に、例えば現実世界における測定によって、付加的なデータを動的に生成することを含む使用事例では、ＬＬＭの特殊な拡張が現在使用されている。
【０００５】
利用可能な拡張の一つは、ＬＬＭをインターフェースとして使用して、例えば機密性のある情報などの付加的なデータを従来のメモリ構造に含むバックエンドデータベースにＬＬＭを接続する。従来のバックエンドデータベースをＬＬＭと組み合わせて使用することにより、自然言語のユーザインターフェース、言語に基づく不確定性の解決、およびクエリに本質的なギャップを埋めるための人間の常識の取り込みを含むＬＬＭの強みと、より正規的な、スキーマに基づくデータベースの強みとを兼ね備えることができる。バックエンドデータベースは、高信頼性、トレーサビリティ、および機密性のある情報への独自アクセスという利点をもつ。例えば付加的データを含むバックエンドデータベースに固有の言語でクエリを生成するために、ＬＬＭをバックエンドデータベースへのインターフェースとしても使用する手法は、制限された事前構築されたクエリのため、またはクエリ生成の制限のために、ボトルネックを招く可能性がある。
【０００６】
現在のＬＬＭの欠陥の少なくとも一部に対処するためにＬＬＭを拡張する代替の手法では、それほど正規的でないデータベースに基づく混合構造が、テキストチャンクの言語埋め込みを含む別の自然言語指向のメモリ記憶システムを使用する。この手法は、クエリと埋め込み空間内のテキストのチャンクとの判定された類似度に基づいて関連するテキストチャンク（断片）の事前選択を見つけるために、言語埋め込みを使用する。事前選択は、意味的にクエリに似ており、したがってクエリに回答するのに妥当とみなされるテキストを含んでいる、識別可能なテキストのチャンクを提供する。最初のクエリと併せて、（事前）選択されたテキストのチャンクが、クエリへの回答を生成するためにＬＬＭに渡される。この知られている混合構造の手法には、妥当なテキストチャンクの事前選択を埋め込みの類似性だけに基づかせるという問題がある。クエリに関連する可能性があるが、例えば補足的な情報を含むために意味的に類似する語を含まない他のメモリ項目は、応答を生成するために検討されない。
【０００７】
一般的なＬＬＭの高費用の再訓練や微調整を必要とせずに、増大する独自メモリを継続的かつ増分的に向上させることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の検討事項を考慮すると、独自の関係情報を含むメモリからの自然言語に基づく情報検索および推論を向上させるという課題に対処する必要がある。
【課題を解決するための手段】
【０００９】
本コンピュータ実装方法および対応するシステムは、この課題および同様の課題に好都合な解決法を提供する。従属請求項は、さらなる有利な実施形態を定める。
【００１０】
コンピュータ実装方法は、システム内でユーザまたはエージェントからのクエリに対する応答をエージェントによって生成する。このシステムは、ベクトル（埋め込みベクトル）および自然言語テキストのチャンクを記憶するように構成されたベクトル埋め込みメモリと、リンクによって相互に接続されたノードの形態で情報を記憶するように構成されたグラフに基づくメモリと、プロセッサと、を備える。方法は、ベクトル埋め込みメモリに記憶されているベクトルと、取得されたクエリの自然言語テキストのチャンクに基づいて生成されたベクトルとの意味的近さに基づいて、ベクトル埋め込みメモリから一致するベクトルを検索するステップと、一致するベクトルとの対応関係に基づいてグラフに基づくメモリに記憶されているノードを決定および活性化し、活性化されたノード間のリンクに基づいて、接続されているノードを決定および活性化するステップと、を含む。方法は、ベクトル埋め込みメモリからの一致するベクトルと、クエリの自然言語テキストのチャンクに基づいて生成されたベクトルとの意味的近さに基づいて決定されたテキストのチャンクに基づいて、クエリへの応答を生成するステップをさらに含む。応答を生成するステップは、グラフに基づくメモリからの活性化されたノードに対応する、決定されたテキストのチャンクにさらに基づいて、クエリに対する応答を生成する。
（【００１１】以降は省略されています）

関連特許