特許ウォッチ

公開番号2025139724
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024038713
出願日2024-03-13
発明の名称データ変換装置、データ変換方法、およびデータ変換プログラム
出願人株式会社日立製作所
代理人藤央弁理士法人
主分類G06F 40/151 20200101AFI20250919BHJP(計算;計数)
要約【課題】評価対象に対する質問文の形式の適正化を図ること。
【解決手段】プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有するデータ変換装置は、複数の選択肢と前記複数の選択肢の中の1つを正答とする第1質問文とを入力する入力処理と、前記入力処理によって入力された前記複数の選択肢および前記第1質問文に基づいて、前記第1質問文を前記第1質問文の形式とは異なる形式の第2質問文に変換する変換処理と、前記変換処理によって変換された第2質問文と前記複数の選択肢とを出力する出力処理と、を実行する。
【選択図】図2
特許請求の範囲【請求項１】
プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有するデータ変換装置であって、
前記プロセッサは、
複数の選択肢と前記複数の選択肢の中の１つを正答とする第１質問文とを入力する入力処理と、
前記入力処理によって入力された前記複数の選択肢および前記第１質問文に基づいて、前記第１質問文を前記第１質問文の形式とは異なる形式の第２質問文に変換する変換処理と、
前記変換処理によって変換された第２質問文と前記複数の選択肢とを出力する出力処理と、
を実行することを特徴とするデータ変換装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載のデータ変換装置であって、
前記第２質問文は、前記正答で補完することにより完成する一部が欠落した補完形式の説明文である、
ことを特徴とするデータ変換装置。
【請求項３】
請求項１に記載のデータ変換装置であって、
前記第１質問文は、前記複数の選択肢の中からいずれが前記正答であるかを問う疑問文である、
ことを特徴とするデータ変換装置。
【請求項４】
請求項１に記載のデータ変換装置であって、
前記第１質問文は、前記正答を指示代名詞で表現した平叙文である、
ことを特徴とするデータ変換装置。
【請求項５】
請求項１に記載のデータ変換装置であって、
前記変換処理では、前記プロセッサは、前記第１質問文内の先頭からの単語列の次の単語を予測する予測処理を実行することにより、前記第２質問文を生成する、
ことを特徴とするデータ変換装置。
【請求項６】
請求項１に記載のデータ変換装置であって、
単語列の次の単語を予測する言語モデルを実装する計算機にアクセス可能であり、
前記変換処理では、前記プロセッサは、前記第１質問文を前記計算機に送信した結果、前記計算機によって生成された前記第２質問文を受信する、
ことを特徴とするデータ変換装置。
【請求項７】
請求項１に記載のデータ変換装置であって、
前記プロセッサは、
前記第２質問文の単語列と前記選択肢の単語列とに基づいて、前記第２質問文が生成される尤もらしさを示すスコアを前記選択肢ごとに取得する取得処理を実行し、
前記出力処理では、前記プロセッサは、前記取得処理によって取得された前記選択肢ごとの前記スコアを出力する、
ことを特徴とするデータ変換装置。
【請求項８】
請求項７に記載のデータ変換装置であって、
質問の単語列と前記質問に対する回答の単語列とに基づいて前記質問が生成される前記回答の尤もらしさを予測する言語モデルを実装する計算機にアクセス可能であり、
前記取得処理では、前記プロセッサは、前記第２質問文の単語列と前記選択肢の単語列とを前記計算機に送信した結果、前記計算機によって算出された前記第２質問文が生成される前記選択肢の尤もらしさを示すスコアを前記選択肢ごとにする、
ことを特徴とするデータ変換装置。
【請求項９】
請求項７に記載のデータ変換装置であって、
前記プロセッサは、
前記スコアに基づいて、前記第２質問文に対する言語モデルの性能を示す指標値を算出する算出処理を実行する、
ことを特徴とするデータ変換装置。
【請求項１０】
請求項１に記載のデータ変換装置であって、
前記変換処理では、前記プロセッサは、前記第１質問文の構文木を解析し、前記構文木の各部分木を所定のルールにマッチングし、マッチしたルールに関連付けられる操作方法に基づいて前記第１質問文の単語の順番を入れ替え、所定の単語を補うことにより、前記第２質問文を生成する、
ことを特徴とするデータ変換装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、データを変換するデータ変換装置、データ変換方法、およびデータ変換プログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
近年は、ＧｅｎｅｒａｔｉｖｅＰｒｅｔｒａｉｎｅｄＴｒａｎｓｆｏｒｍｅｒ（ＧＰＴ）やＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ（ＢＥＲＴ）に代表される言語モデルの発展が著しい。これらの言語モデルは基盤モデルなどとも称され、テキスト生成、文書分類、翻訳、画像キャプション生成、文法解析など様々な下流タスクに利用される。
【０００３】
言語モデルは、外部知識利用、前後処理、追加の教師付き学習を含む統合システムとして下流タスクで評価されうる。しかし、統合システムの構築には多大なコストがかかり、言語モデル以外の部分の完成度が下流タスクの性能に大きな影響を与える。このため、言語モデルの単体評価ができることが望ましい。
【０００４】
現在では、言語モデルの単体評価に向け専用に作られた評価データおよび評価方法が存在する。一般的なドメインにおいては、これらの評価データおよび評価方法を利用することで言語モデルの単体評価が可能である。しかし、たとえば、特定ドメインに向け新たに言語モデルを作成する場合は、これらの評価データおよび評価方法だけでは不十分である。
【０００５】
また、これらの評価データおよび評価方法は人間によって作成されたため、同様の手順で特定ドメインに向けた評価データおよび評価方法を構築すると、コストが高くなる。一方、それらの特定ドメインにおいても、人間向けの試験や演習問題が存在していることがある。ただし、言語モデルは一般的にテキストの穴埋め問題や補完問題を通し統計的に構築されるのに対して、人間向けの問題は選択肢問題なども含みうる。このため、人間向けの問題を通して言語モデルの評価を行うためには、前述したように言語モデルに外部知識利用、前後処理、追加の教師付き学習などを組み込む必要がある。したがって、言語モデルの単体評価を行うことは難しい。
【０００６】
下記非特許文献１は、言語モデルの評価方法を開示する。下記非特許文献２は、後方補完に基づく言語モデルの評価方法を開示する。下記非特許文献３は、テキスト断片をツリーにマッピングするテキスト断片間の遷移ラベルの予測としてタスクを定式化する機械学習システムを開示する。
【先行技術文献】
【非特許文献】
【０００７】
Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever. 2018. Language Models are Unsupervised Multitask Learners. OpenAI Blog.
Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, and Yejin Choi. 2019. HellaSwag: Can a Machine Really Finish Your Sentence?. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4791-4800, Florence, Italy. Association for Computational Linguistics.
Yuta Koreeda and Christopher Manning. 2021. Capturing Logical Structure of Visually Structured Documents with Multimodal Transition Parser. In Proceedings of the Natural Legal Language Processing Workshop 2021, pages 144-154, Punta Cana, Dominican Republic. Association for Computational Linguistics.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に開示されている四択問題に基づく評価方法は、問題文の整形方法（プロンプトの作成方法）に依存することが知られており、同じ言語モデルでも様々な性能が報告されているのが現状である。非特許文献２で開示されている評価方法は、人手で時間をかけ構築された評価方法であり、評価方法を構築するための装置や方法については開示されていない。
【０００９】
本発明は、評価対象に対する質問文の形式の適正化を図ることを目的とする。
【課題を解決するための手段】
【００１０】
本願において開示される発明の一側面となるデータ変換装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有するデータ変換装置であって、前記プロセッサは、複数の選択肢と前記複数の選択肢の中の１つを正答とする第１質問文とを入力する入力処理と、前記入力処理によって入力された前記複数の選択肢および前記第１質問文に基づいて、前記第１質問文を前記第１質問文の形式とは異なる形式の第２質問文に変換する変換処理と、前記変換処理によって変換された第２質問文と前記複数の選択肢とを出力する出力処理と、を実行することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許