特許ウォッチ

公開番号2025115561
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2024010072
出願日2024-01-26
発明の名称言語モデル利用システムおよび言語モデル利用方法
出願人株式会社野村総合研究所
代理人個人
主分類G06F 16/903 20190101AFI20250731BHJP(計算;計数)
要約【課題】蓄積されているLLMの外部の知見の中に機密情報等が含まれている場合であっても適切にプロンプトエンジニアリングを行うことを可能とする。
【解決手段】言語モデル4に利用者5から指定されたプロンプト6の文章を入力して、言語モデル4から得られた回答7を利用者5に対して出力する言語モデル利用システム1であって、知見に係る情報を蓄積した知見保持部3を有し、プロンプト6に基づいて、知見保持部3からプロンプト6に関連もしくは類似する知見を取得し、当該知見とプロンプト6とを合わせて言語モデル4に入力して回答7を得る。
【選択図】図1
特許請求の範囲【請求項１】
言語モデルに利用者から指定されたプロンプトの文章を入力して、前記言語モデルから得られた回答を前記利用者に対して出力する言語モデル利用システムであって、
知見に係る情報を蓄積した知見保持部を有し、
前記プロンプトに基づいて、前記知見保持部から前記プロンプトに関連もしくは類似する知見を取得し、当該知見と前記プロンプトとを合わせて前記言語モデルに入力して回答を得る、言語モデル利用システム。
続きを表示（約 1,100 文字）【請求項２】
請求項１に記載の言語モデル利用システムにおいて、
前記プロンプトと、前記利用者の属性情報に基づいて、前記知見保持部から前記プロンプトに関連もしくは類似する知見を取得する、言語モデル利用システム。
【請求項３】
請求項２に記載の言語モデル利用システムにおいて、
前記属性情報は、前記利用者の興味対象のジャンルの情報を含み、
前記知見保持部から前記プロンプトに関連もしくは類似する知見を取得する際に、前記ジャンルに合致する知見を取得する、言語モデル利用システム。
【請求項４】
請求項２に記載の言語モデル利用システムにおいて、
前記属性情報は、前記利用者の権限に係る情報を含み、
前記知見保持部から前記プロンプトに関連もしくは類似する知見を取得する際に、前記権限に基づいてアクセス可能な範囲から知見を取得する、言語モデル利用システム。
【請求項５】
請求項２に記載の言語モデル利用システムにおいて、
他の情報発信元から定期もしくは不定期に知見を収集して、前記知見保持部に蓄積する、言語モデル利用システム。
【請求項６】
請求項５に記載の言語モデル利用システムにおいて、
前記情報発信元から収集した知見を、当該知見を収集した時間の情報と合わせて履歴として前記知見保持部に蓄積し、
前記知見保持部から前記プロンプトに関連もしくは類似する知見を取得する際に、前記利用者から指定された時点の情報に基づいて、当該時点において最新であった前記履歴から知見を取得する、言語モデル利用システム。
【請求項７】
言語モデルに利用者から指定されたプロンプトの文章を入力して、前記言語モデルから得られた回答を前記利用者に対して出力する情報処理システムによる言語モデル利用方法であって、
前記情報処理システムが、
前記プロンプトに基づいて、前記情報処理システムに蓄積された知見から前記プロンプトに関連もしくは類似する知見を取得する第１のステップと、
当該取得した知見と前記プロンプトとを合わせて前記言語モデルに入力して回答を得る第２のステップと、を実行する、言語モデル利用方法。
【請求項８】
請求項７に記載の言語モデル利用方法において、
前記第１のステップでは、前記プロンプトと、前記利用者の属性情報に基づいて、前記情報処理システムに蓄積された知見から前記プロンプトに関連もしくは類似する知見を取得する、言語モデル利用方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成ＡＩやＬＬＭ（Large Language Models：大規模言語モデル）の利用技術に関し、特に、いわゆるプロンプトエンジニアリングを行う言語モデル利用システムおよび言語モデル利用方法に適用して有効な技術に関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
昨今、ＣｈａｔＧＰＴ（登録商標）をはじめ、驚異的な対話力・理解力を顕在化させたＬＬＭが利用可能になっている。しかし、ＬＬＭに専門性の高い対話やタスク（例えば、文章の要約やＱ＆Ａの作成、文章生成など）を行わせたい場合、対象の分野・ドメインに特化した下流タスクの学習が必要である。したがって、ＬＬＭを事業に活用するには最適な追加学習を行うことが必須となる。
【０００３】
ＬＬＭに追加学習させる方法は複数存在するが、どのような方法を採ることができるかは、各ＬＬＭのモデルの公開方式に依存する。例えば、モデル自体が公開されていて商用利用可能なＬＬＭであれば、様々な追加学習方法を採ることができるが、ＡＰＩ（Application Programming Interface）のみが公開されているＬＬＭでは、ＡＰＩで行えるもしくはアクセスできる範囲のパラメータの更新などに制限される。
【０００４】
自然言語モデルにおいて、ＲＮＮ（Recurrent Neural Network：回帰型ニューラルネットワーク）やＬＳＴＭ（Long Short Term Memory：長・短期記憶）などのアーキテクチャーが主流であった頃は、下流タスクやドメイン毎にゼロから学習し直させることが一般的であった。その後、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）やＧＰＴ（Generative Pretrained Transformer）、ＢＡＲＴ（Bidirectional Auto-Regressive Transformer）などのいわゆるTransformer系の自然言語処理モデルをベースとした機械学習手法のモデルが登場して以降、言語に関する汎用的な理解を備えたベースモデルを構築する事前学習のステップと、上記ベースモデルについて特定ドメイン向けに追加学習（ファインチューニング）するステップの２ステップに分けて学習させるという手法が確立した。
【０００５】
しかし、近年ＬＬＭの台頭により言語モデルが著しく大規模化した結果、ファインチューニングの対象のパラメータ数や、学習に用いるデータのサイズが膨大となり、計算リソース的に全パラメータを更新するような従来型のファインチューニングは実用上困難となってきた。また、学習済みモデルが非公開でＡＰＩ等によるアクセスもできないなど、パラメータに対するアクセス権がないような場合は、そもそも全パラメータを更新するようなファインチューニングを行うことはできない。
【０００６】
これに対し、パラメータの更新に代えて、ＬＬＭに対話やタスクを行わせる際の入力（プロンプト）の内容を最適化したり追加のプロンプトやパラメータ、タスクの例示などの情報を挿入したりすることで、ＬＬＭに未知の知見を与えながら対話するという、いわゆるプロンプトエンジニアリング（In-Context Learning）も検討されている。これにより、例えば、事前学習の際に用いられたデータには含まれていない最新の知見をＬＬＭに与えて、学習済みの知見の陳腐化を解消することが可能となる。
【０００７】
これに関連する技術として、例えば、非特許文献１には、ユーザからの質問をベクトル化し、（未知の知見を含む）大量の文書の中から質問に関連する文書をベクトルの類似度により検索するRetrieverと、Retrieverにより検索された関連文書と質問文を連結して言語モデルに入力として与えて回答を抽出または生成するReaderで構成されるRetriever-Readerモデルが記載されている。
【先行技術文献】
【非特許文献】
【０００８】
蓬田綾香、外７名、“技術ナレッジ活用に向けたRetriever-Readerモデルの検証”、言語処理学会第２９回年次大会発表論文集、２０２３年３月、ｐ．２０３０－２０３３
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＬＬＭに対して入力できるプロンプトの長さ（トークンの数）には制限がある中で、追加学習させたい外部の知見が膨大にあるような場合に、従来技術によれば、膨大な外部の知見から関連する文書を抽出して、質問文と連結してプロンプトとしてＬＬＭに与えるというプロンプトエンジニアリングにより、ＬＬＭに未知の知見を与えながら対話して回答を得るということが可能である。
【００１０】
しかし、蓄積されているＬＬＭの外部の知見の中には、社内の機密情報など外部に流出させられないものもあり、ＳａａＳ（Software as a Service）として利用可能なオープンなＬＬＭに対して入力するのが不適切なものもある。
（【００１１】以降は省略されています）

関連特許