特許ウォッチ

公開番号2025121072
公報種別公開特許公報(A)
公開日2025-08-19
出願番号2024016269
出願日2024-02-06
発明の名称計算機システム及びパラメータ探索支援方法
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06F 40/56 20200101AFI20250812BHJP(計算;計数)
要約【課題】自然言語処理モデルの利用を含む複数の処理から構成されるタスクのパラメータの組合せの探索を低コストで実現する。
【解決手段】計算機システムは、コストに基づいて分類された、第1分類の自然言語処理モデル及び第2分類の自然言語処理モデルの相関関係を管理するための相関情報と、第1分類の自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成されるターゲットタスクの各処理を制御するためのパラメータの組合せであるパラメータセットを管理するための第1パラメータセット情報と、を保持し、相関情報を参照して、第2分類の自然言語処理モデルの中から前記第1自然言語処理モデルと相関がある検証用自然言語処理モデルを特定し、第1パラメータセットを変えながら、検証用自然言語処理モデルを用いたタスク、及びタスクの実行結果を評価するための評価指標の算出、を実行し、評価指標に基づいて、候補となるパラメータセットを決定する。
【選択図】図1
特許請求の範囲【請求項１】
計算機システムであって、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を備え、
指示を含むテキストであるプロンプトを受け付け、自然言語処理モデルを用いて出力テキストを生成するテキスト生成システムにアクセス可能に接続され、
前記自然言語処理モデルの利用に伴って発生するコストに基づいて分類された、第１分類の前記自然言語処理モデル及び第２分類の前記自然言語処理モデルの相関関係を管理するための相関情報と、前記第１分類の前記自然言語処理モデルであるターゲット自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成されるターゲットタスクの前記複数の処理の各々を制御するためのパラメータの組合せである第１パラメータセットを管理するための第１パラメータセット情報と、を保持し、
前記第１分類の前記自然言語処理モデルの前記コストは、前記第２分類の前記自然言語処理モデルの前記コストより大きく、
前記計算機システムは、
前記相関情報を参照して、前記第２分類の前記自然言語処理モデルの中から前記ターゲット自然言語処理モデルと相関がある検証用自然言語処理モデルを特定し、
前記第１パラメータセットを変えながら、前記検証用自然言語処理モデルを用いた前記ターゲットタスク、及び前記ターゲットタスクの実行結果を評価するための第１評価指標の算出、を実行し、
前記第１評価指標に基づいて、候補となる前記第１パラメータセットを決定することを特徴とする計算機システム。
続きを表示（約 3,300 文字）【請求項２】
請求項１に記載の計算機システムであって、
前記第１評価指標及び閾値の比較結果に基づいて、候補となる前記第１パラメータセットを特定し、
候補となる前記第１パラメータセットが一つである場合、当該第１パラメータセットを表示するための表示情報を生成し、
候補となる前記第１パラメータセットが複数ある場合、前記第１パラメータセットを変えながら、前記ターゲット自然言語処理モデルを用いた前記ターゲットタスクを実行し、前記第１パラメータセット及び前記ターゲットタスクの実行結果を表示するための表示情報を生成することを特徴とする計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
前記自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成される分析用タスクの前記複数の処理の各々を制御するためのパラメータの組合せである第２パラメータセットを管理するための第２パラメータセット情報を保持し、
前記第１分類の前記自然言語処理モデルの各々について、前記第２パラメータセットを変えながら、前記第１分類の前記自然言語処理モデルを用いた前記分析用タスク、及び前記分析用タスクの実行結果を評価するための第２評価指標の算出、を実行し、
前記第１分類の前記自然言語処理モデルの各々について、前記第２評価指標に基づいて、前記分析用タスクの実行結果が良好である前記第２パラメータセットを抽出することによって第１リストを生成し、
前記第２分類の前記自然言語処理モデルの各々について、前記第２パラメータセットを変えながら、前記第２分類の前記自然言語処理モデルを用いた前記分析用タスク、及び前記第２評価指標の算出、を実行し、
前記第２分類の前記自然言語処理モデルの各々について、前記第２評価指標に基づいて、前記分析用タスクの実行結果が良好である前記第２パラメータセットを抽出することによって第２リストを生成し、
前記第１分類の前記自然言語処理モデル及び前記第２分類の前記自然言語処理モデルの組合せの各々について、前記第１リスト及び前記第２リストに基づいて、前記第２パラメータセットの一致度合いを相関指標として算出し、
前記第１分類の前記自然言語処理モデル及び前記第２分類の前記自然言語処理モデルの組合せ、並びに、前記相関指標を対応づけることによって前記相関情報を生成することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記テキスト生成処理を制御するためのパラメータは、前記プロンプトの指示の内容であることを特徴とする計算機システム。
【請求項５】
計算機システムが実行するパラメータ探索支援方法であって、
前記計算機システムは、
プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を含み、
指示を含むテキストであるプロンプトを受け付け、自然言語処理モデルを用いて出力テキストを生成するテキスト生成システムにアクセス可能に接続され、
前記自然言語処理モデルの利用に伴って発生するコストに基づいて分類された、第１分類の前記自然言語処理モデル及び第２分類の前記自然言語処理モデルの相関関係を管理するための相関情報と、前記第１分類の前記自然言語処理モデルであるターゲット自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成されるターゲットタスクの前記複数の処理の各々を制御するためのパラメータの組合せである第１パラメータセットを管理するための第１パラメータセット情報と、を保持し、
前記第１分類の前記自然言語処理モデルの前記コストは、前記第２分類の前記自然言語処理モデルの前記コストより大きく、
前記パラメータ探索支援方法は、
前記計算機システムが、前記相関情報を参照して、前記第２分類の前記自然言語処理モデルの中から前記ターゲット自然言語処理モデルと相関がある検証用自然言語処理モデルを特定する第１のステップと、
前記計算機システムが、前記第１パラメータセットを変えながら、前記検証用自然言語処理モデルを用いた前記ターゲットタスク、及び前記ターゲットタスクの実行結果を評価するための第１評価指標の算出、を実行する第２のステップと、
前記計算機システムが、前記第１評価指標に基づいて、候補となる前記第１パラメータセットを決定する第３のステップと、を含むことを特徴とするパラメータ探索支援方法。
【請求項６】
請求項５に記載のパラメータ探索支援方法であって、
前記第３のステップは、
前記計算機システムが、前記第１評価指標及び閾値の比較結果に基づいて、候補となる前記第１パラメータセットを特定するステップと、
前記計算機システムが、候補となる前記第１パラメータセットが一つである場合、当該第１パラメータセットを表示するための表示情報を生成するステップと、
前記計算機システムが、候補となる前記第１パラメータセットが複数ある場合、前記第１パラメータセットを変えながら、前記ターゲット自然言語処理モデルを用いた前記ターゲットタスクを実行し、前記第１パラメータセット及び前記ターゲットタスクの実行結果を表示するための表示情報を生成するステップと、を含むことを特徴とするパラメータ探索支援方法。
【請求項７】
請求項６に記載のパラメータ探索支援方法であって、
前記計算機システムは、前記自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成される分析用タスクの前記複数の処理の各々を制御するためのパラメータの組合せである第２パラメータセットを管理するための第２パラメータセット情報を保持し、
前記パラメータ探索支援方法は、
前記計算機システムが、前記第１分類の前記自然言語処理モデルの各々について、前記第２パラメータセットを変えながら、前記第１分類の前記自然言語処理モデルを用いた前記分析用タスク、及び前記分析用タスクの実行結果を評価するための第２評価指標の算出、を実行するステップと、
前記計算機システムが、前記第１分類の前記自然言語処理モデルの各々について、前記第２評価指標に基づいて、前記分析用タスクの実行結果が良好である前記第２パラメータセットを抽出することによって第１リストを生成するステップと、
前記計算機システムが、前記第２分類の前記自然言語処理モデルの各々について、前記第２パラメータセットを変えながら、前記第２分類の前記自然言語処理モデルを用いた前記分析用タスク、及び前記第２評価指標の算出、を実行するステップと、
前記計算機システムが、前記第２分類の前記自然言語処理モデルの各々について、前記第２評価指標に基づいて、前記分析用タスクの実行結果が良好である前記第２パラメータセットを抽出することによって第２リストを生成するステップと、
前記計算機システムが、前記第１分類の前記自然言語処理モデル及び前記第２分類の前記自然言語処理モデルの組合せの各々について、前記第１リスト及び前記第２リストに基づいて、前記第２パラメータセットの一致度合いを相関指標として算出するステップと、
前記計算機システムが、前記第１分類の前記自然言語処理モデル及び前記第２分類の前記自然言語処理モデルの組合せ、並びに、前記相関指標を対応づけることによって前記相関情報を生成するステップと、を含むことを特徴とするパラメータ探索支援方法。
【請求項８】
請求項７に記載のパラメータ探索支援方法であって、
前記テキスト生成処理を制御するためのパラメータは、前記プロンプトの指示の内容であることを特徴とするパラメータ探索支援方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、生成ＡＩの利用を含む複数の処理から構成されるタスクの各処理を制御するパラメータを探索する技術に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
近年、ユーザから指示を受け付け、テキストを生成する生成ＡＩが登場している（例えば、非特許文献１及び非特許文献２を参照）。本発明では、生成ＡＩは大規模言語モデル（ＬＬＭ）を意味する。大規模言語モデルは、自然言語処理モデルの一つであり、様々な言語処理タスクを実行できる。
【０００３】
生成ＡＩには、有償のものと無償のものとがある。有償の生成ＡＩでは、入力テキストのトークン数に応じて費用が発生する。例えば、有償の生成ＡＩであるＧＰＴ－４に、例えば１０００トークンの入力テキストを入力した場合、約１０円の費用が発生する。
【先行技術文献】
【特許文献】
【０００４】
OpenAI, R. "GPT-4 technical report." arXiv (2023): 2303-08774.
Mosaic ML, "Introducing MPT-7B: A New Standard for Open-Source, Commercially Usable LLMs", ［online］,［令和５年１２月２５日検索］,インターネット＜URL: https://www.mosaicml.com/blog/mpt-7b＞.
LangChain,［online］,［令和５年１２月２５日検索］,インターネット＜URL:https://www.langchain.com/＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
有償の生成ＡＩを用いて、文書の要点を抽出し、分析するために、１００トークンのテキストである１００００個の文書を要約するタスクを考える。この場合、生成ＡＩには１００万トークンのテキストが入力される。生成ＡＩには一度に入力できるトークン数に上限があるため、前述のタスクをそのまま生成ＡＩに実行させることは困難である。
【０００６】
これに対して、生成ＡＩへの入力及び出力をつなげて、複雑なタスクを実現する技術が知られている（非特許文献３を参照）。
【０００７】
前述のタスクは、非特許文献３に記載の技術を用いると、入力テキストの分割、分割したテキストの生成ＡＩへの入力、生成ＡＩが出力した複数のテキストの集約、集約したテキストの生成ＡＩへの入力を連結したタスクとして実現できる。このとき、生成ＡＩへの指示を含むテキストであるプロンプトを介して生成ＡＩへの入力、分割、及び集約の各々を制御するパラメータを設定する必要がある。
【０００８】
前述のタスクを効率的に実行するためには、事前に最適なパラメータの組合せ（パラメータセット）を見つける必要がある。分割及び集約のそれぞれのパラメータが１０パターンある場合、最適なパラメータの組合せを見つけるためにはタスクを１００回試行する必要がある。有償の生成ＡＩを用いた場合、約１００万円の費用が発生する。
【０００９】
生成ＡＩの利用を含む複数の処理から構成されるタスクの各処理を制御するためのパラメータを決定する場合、無償の生成ＡＩを用いて検証するパラメータの組合せを絞り込みことが有効である。
【課題を解決するための手段】
【００１０】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機システムであって、プロセッサ、前記プロセッサに接続される記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを有する計算機を備え、指示を含むテキストであるプロンプトを受け付け、自然言語処理モデルを用いて出力テキストを生成するテキスト生成システムにアクセス可能に接続され、前記自然言語処理モデルの利用に伴って発生するコストに基づいて分類された、第１分類の前記自然言語処理モデル及び第２分類の前記自然言語処理モデルの相関関係を管理するための相関情報と、前記第１分類の前記自然言語処理モデルであるターゲット自然言語処理モデルを用いたテキスト生成処理を一つ以上含む複数の処理から構成されるターゲットタスクの前記複数の処理の各々を制御するためのパラメータの組合せである第１パラメータセットを管理するための第１パラメータセット情報と、を保持し、前記第１分類の前記自然言語処理モデルの前記コストは、前記第２分類の前記自然言語処理モデルの前記コストより大きく、前記計算機システムは、前記相関情報を参照して、前記第２分類の前記自然言語処理モデルの中から前記ターゲット自然言語処理モデルと相関がある検証用自然言語処理モデルを特定し、前記第１パラメータセットを変えながら、前記検証用自然言語処理モデルを用いた前記ターゲットタスク、及び前記ターゲットタスクの実行結果を評価するための評価指標の算出、を実行し、前記評価指標に基づいて、候補となる前記第１パラメータセットを決定する。
【発明の効果】
（【００１１】以降は省略されています）

関連特許