特許ウォッチ

公開番号2025115441
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2024009894
出願日2024-01-26
発明の名称大規模言語モデルを用いて推論回答に対する個人特性の反映を判定するプログラム、装置及び方法
出願人KDDI株式会社
代理人個人
主分類G06F 40/56 20200101AFI20250731BHJP(計算;計数)
要約【課題】認知心理学的な質問に対する回答を推論する際に、大規模言語モデルの推論精度を向上させるプロンプトを作成するプログラム等を提供する。
【解決手段】本発明のプログラムは、ユーザに対する質問及び当該ユーザの正解個人特性を記述し、推論回答を返信するべく指示したプロンプトを大規模言語モデルへ送信し、推論回答を受信する順推論手段と、当該質問及び当該推論回答を記述し、逆推論個人特性を返信するべく指示したプロンプトを大規模言語モデルへ送信し、逆推論個人特性を受信する逆推論手段と、当該質問、当該正解個人特性、当該推論回答及び当該逆推論個人特性を記述し、当該質問に対する当該推論回答が、当該正解個人特性よりも当該逆推論個人特性を強く反映したものか否かを判定するべく指示する第1のタスクを記述したプロンプトを大規模言語モデルへ送信し、判定結果を受信する回答判定推論手段として機能させる。
【選択図】図1

特許請求の範囲【請求項１】
大規模言語モデルを用いて、任意の質問に対する各ユーザの回答を推論するプロンプトを作成するようにコンピュータを機能させるプログラムであって、
ユーザに対する質問及び当該ユーザの正解個人特性を記述し、推論回答を返信するべく指示したプロンプトを大規模言語モデルへ送信し、推論回答を受信する順推論手段と、
当該質問及び当該推論回答を記述し、逆推論個人特性を返信するべく指示したプロンプトを大規模言語モデルへ送信し、逆推論個人特性を受信する逆推論手段と、
当該質問、当該正解個人特性、当該推論回答及び当該逆推論個人特性を記述し、当該質問に対する当該推論回答が、当該正解個人特性よりも当該逆推論個人特性を強く反映したものか否かを判定するべく指示する第１のタスクを記述したプロンプトを大規模言語モデルへ送信し、判定結果を受信する回答判定推論手段と
してコンピュータを機能させることを特徴とするプログラム。
続きを表示（約 1,600 文字）【請求項２】
回答判定推論手段は、第１のタスクについて真と判定された際に、当該推論回答が正解個人特性をより反映するように調整するべく指示する第２のタスクを、プロンプトに更に記述する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項３】
回答判定推論手段は、第２のタスクに続いて、調整された推論回答である更新推論回答及び更新理由を返信するべく指示する第３のタスクを、プロンプトに更に記述する
ようにコンピュータを機能させることを特徴とする請求項２に記載のプログラム。
【請求項４】
回答判定推論手段は、自ら受信した更新推論回答を更に、順推論手段によって受信された推論回答として逆推論手段へ入力し、逆推論手段によって更に受信された逆推論個人特性について第１のタスクから第３のタスクまでを繰り返す
ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
【請求項５】
質問は、数値又はスコアを問うものであり、
推論回答は、数値又はスコアを回答するものである
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項６】
正解個人特性及び逆推論個人特性は、個人属性、経済属性、性格属性及び／又は身体属性を含むと共に、属性オプションによって限定された属性値である
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項７】
個人属性は、当該ユーザにおける性別、年齢、居住地、職業、家族形態のいずれか又はそれらの組み合わせであり、
経済属性は、個人年収及び世帯年収のいずれか又はそれらの組み合わせであり、
性格属性は、当該ユーザにおける心理的な各項目のスコアであり、
身体属性は、当該ユーザに装着されたセンサによって検知した生体的な各項目のスコアである
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項８】
ユーザに対するアンケートの文章を、質問として順推論手段へ入力し、当該ユーザのアンケート結果を、回答判定推論手段から得られた当該更新推論回答として収集するアンケート結果収集手段と
して更にコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
【請求項９】
順推論手段及び回答判定推論手段と、逆推論手段とは、対話履歴をリセットした同一の大規模言語モデルを用いるか、又は、異なる大規模言語モデルを用いる
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項１０】
大規模言語モデルを用いて、任意の質問に対する各ユーザの回答を推論するプロンプトを作成するプロンプト作成装置であって、
ユーザに対する質問及び当該ユーザの正解個人特性を記述し、推論回答を返信するべく指示したプロンプトを大規模言語モデルへ送信し、推論回答を受信する順推論手段と、
当該質問及び当該推論回答を記述し、逆推論個人特性を返信するべく指示したプロンプトを大規模言語モデルへ送信し、逆推論個人特性を受信する逆推論手段と、
当該質問、当該正解個人特性、当該推論回答及び当該逆推論個人特性を記述し、当該質問に対する当該推論回答が、当該正解個人特性よりも当該逆推論個人特性を強く反映したものか否かを判定するべく指示する第１のタスクを記述したプロンプトを大規模言語モデルへ送信し、判定結果を受信する回答判定推論手段と
を有することを特徴とするプロンプト作成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、自然言語処理に基づく大規模言語モデル(Large Language Models，LLM)へ入力するプロンプトを作成する技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、大規模言語モデルは、Transformerによって、テキスト生成や言語理解のようなタスクに対する推論精度が向上してきている。これは、大規模なデータセットを用いて、数十億個のパラメータを有するディープ・ニューラルネットワークを訓練して構築しており、自然な文章を生成することができる。代表的にChatGPT（登録商標）があり、その出力結果における高い表現力と汎用性によって、チャットボット、検索エンジン、コード生成など、幅広いアプリケーションで活用され始めている。
【０００３】
大規模言語モデルは、「要因と結果の因果関係」を推論するタスクに対して、推論精度が低くなる場合がある。これは、大規模言語モデルが、テキストデータにおける統計的な相関関係性を学習していることが影響している。
【０００４】
これに対し、大規模言語モデルを用いて、ログデータからユーザの意図を抽出する技術がある（例えば非特許文献１参照）。この技術によれば、大規模言語モデルを用いて、ログデータから意図の分類クラスを決定した後、人間が協力して、分類クラスの定義を検証して修正する。これによって、最終的に得られた意図の分類クラスに基づいて大規模言語モデルに意図を分類させた場合、人間が分類する場合と高い割合で一致する、との結果が得られている。
【０００５】
また、大規模言語モデルを用いて、推論タスクを順方向から複数回推論した出力結果を、逆方向に推論する技術もある（例えば非特許文献２参照）。この技術によれば、大規模言語モデルに対して、順方向の入力と逆方向の出力とが一致するかどうかで推論過程の精度を検証する。これは、推論過程がブラックボックスである大規模言語モデルについて、逆推論を用いて推論過程を間接的に検証することができる。
【０００６】
更に、大規模言語モデルの推論精度を向上させるために、入力するプロンプトに、論理的な思考の連鎖(Chain of Thought, CoT)を記述する技術がある（例えば非特許文献３参照）。これは、大規模言語モデルに対して最終解答に至る中間推論ステップを設けるべく、プロンプトに、ＱＡ(Question-Answer)例を記述する。特に、算術、常識、記号推論の様々なタスクでパフォーマンスを向上させることができる。
【０００７】
更に、CoT promptingに派生した、Zero-shot-CoT promptingの技術もある（例えば非特許文献４参照）。これは、大規模言語モデルに対して、ステップバイステップで推論するべく指示するものである。最も簡易には、プロンプトに"Let's think step by step"を追記するだけであってもよい。推論対象の出力例を必要としないにもかかわらず、一度のプロンプトで推論精度を向上させることができる。例えば、ベンチマークMultiArithによれば、ゼロショット精度を17.7%から78.7%に向上させ、SoTAを達成した。これは、従来のCoT(Few-shot-CoT)と異なり、ＱＡ例を必要としないことから、タスクに捉われない汎用性を持つ。
【０００８】
このように、入力する質問のプロンプトに、回答に対する段階的かつ論理的なステップを指示することによって、大規模言語モデルの推論精度を高めることができる。
【０００９】
他の観点から、大規模言語モデルには、他者の心を推論する「心の理論(Theory of Mind, ToM)」のタスクを解決する能力が備わっていることも報告されている。ToMは、人間や類人猿などが他者の心の状態、意図、知識、信念などを理解し、それに基づいて行動を推測する能力をいう。この概念は従来、他者が特定の状況で判断を誤るかどうかを理解できる能力を測定する心理学実験の「誤信念課題」によって測定されていたものである。
【先行技術文献】
【非特許文献】
【００１０】
C. Shah et al., “Using Large Language Models to Generate, Validate, and Apply User Intent Taxonomies.” arXiv, Sep. 14, 2023.、[online]、［令和６年１月２０日検索］、インターネット＜https://arxiv.org/pdf/2309.13063.pdf＞
Y. Weng et al., “Large Language Models are Better Reasoners with Self-Verification.” arXiv, Oct. 19, 2023.、[online]、［令和６年１月２０日検索］、インターネット＜https://arxiv.org/abs/2212.09561＞
Wei J. et al., “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models,” arXiv.org, Jan. 28, 2022.、[online]、［令和６年１月２０日検索］、インターネット＜https://arxiv.org/abs/2201.11903＞
T. Kojima, S. S. Gu, M. Reid, Y. Matsuo, and Y. Iwasawa, “Large Language Models are Zero-Shot Reasoners.” arXiv, Jan. 29, 2023.、[online]、［令和６年１月２０日検索］、インターネット＜https://arxiv.org/abs/2205.11916＞
【発明の概要】
【発明が解決しようとする課題】
（【００１１】以降は省略されています）

関連特許