特許ウォッチ

公開番号2025071747
公報種別公開特許公報(A)
公開日2025-05-08
出願番号2024016331
出願日2024-02-06
発明の名称情報処理方法、情報処理装置および情報処理プログラム
出願人アクタピオ,インコーポレイテッド
代理人弁理士法人酒井国際特許事務所
主分類G06N 5/04 20230101AFI20250428BHJP(計算;計数)
要約【課題】モデルについて柔軟な評価を可能にする。
【解決手段】本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含む。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータが実行する情報処理方法であって、
推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、
前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、
を含むことを特徴とする情報処理方法。
続きを表示（約 1,200 文字）【請求項２】
前記取得工程は、
違反に該当するか否かの判定対象となる文字情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項１に記載の情報処理方法。
【請求項３】
前記取得工程は、
インターネットにおける投稿情報である前記複数の入力データの各々を前記モデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する判定結果を示す前記複数の出力値を取得する
ことを特徴とする請求項２に記載の情報処理方法。
【請求項４】
前記取得工程は、
入力された文字情報が前記違反に該当するか可能性が高い程、高い値を出力する前記モデルが出力した前記複数の出力値を取得する
ことを特徴とする請求項２に記載の情報処理方法。
【請求項５】
前記処理工程は、
前記複数の出力値のうち、前記閾値以上である出力値を前記評価用データ群として選択し、前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記取得工程は、
前記複数の入力データを所定の人員により確認した場合に確認可能な数を示す前記基準情報を取得する
ことを特徴とする請求項２に記載の情報処理方法。
【請求項７】
前記処理工程は、前記閾値を用いて前記複数の出力値から前記数の前記評価用データ群を選択し、前記数の前記評価用データ群に含まれる前記違反に該当するデータの割合を示す値を、前記モデルの評価を示す前記指標値として算出する
ことを特徴とする請求項６に記載の情報処理方法。
【請求項８】
前記処理工程は、
前記複数の出力値を値が大きい方から順にソートし、ソート後の前記複数の出力値のうち、前記閾値以上である全出力値を前記閾値よりも大きい第１値に設定し、ソート後の前記複数の出力値のうち、前記閾値未満である全出力値を前記閾値よりも小さい第２値に設定し、前記第１値に設定された前記評価用データ群を用いて、前記モデルの評価を示す前記指標値を算出する
ことを特徴とする請求項１に記載の情報処理方法。
【請求項９】
前記処理工程は、算出した前記指標値を用いてモデルの最適化処理を実行する
ことを特徴とする請求項１に記載の情報処理方法。
【請求項１０】
前記処理工程は、複数のモデルの各々について算出した複数の指標値を用いて前記モデルの最適化処理を実行する
ことを特徴とする請求項９に記載の情報処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理方法、情報処理装置および情報処理プログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
近年、ＤＮＮ（Deep Neural Network）といったニューラルネットワーク等の各種モデルに対し、学習データが有する特徴を学習させることで、モデルを生成する技術が提案されている。また、学習したモデルは、各種の予測や分類等とった各種の推論処理に用いられる。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－１６８０４２公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術では、学習したモデルの評価については十分に考量されているとは言い難い。例えば、上述した技術では、学習したモデルの評価を行わずに再学習を行っており、そのモデルを用いる用途によっては再学習の結果により元のモデルよりも精度が低下する場合が生じ得る。そのため、モデルの学習を行う際は、そのモデルの用途などに応じて柔軟な評価を行うことが望まれている。このように、上述した技術は、学習したモデルの評価の点については改善の余地がある。
【０００５】
本願は、上記に鑑みてなされたものであって、モデルについて柔軟な評価を可能にする情報処理方法、情報処理装置および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に係る情報処理方法は、コンピュータが実行する情報処理方法であって、推論処理の対象となる複数の入力データの各々をモデルに対して入力し、前記モデルが出力した前記複数の入力データの各々に対応する推論結果を示す複数の出力値と、前記モデルを評価する際の基準を示す基準情報とを取得する取得工程と、前記取得工程により取得された前記基準情報が示す基準に基づいて決定された閾値を用いて、前記複数の出力値のうち、前記モデルの評価に用いる対象とする評価用データ群を選択し、選択した前記評価用データ群を用いて、前記モデルの評価を示す指標値を算出する処理工程と、を含むことを特徴とする。
【発明の効果】
【０００７】
実施形態の一態様によれば、モデルについて柔軟な評価を可能にすることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
実施形態に係る情報処理の一例を示す図である。
実施形態に係る情報処理システムの構成例を示す図である。
実施形態に係る情報処理装置の構成例を示す図である。
実施形態に係るモデル情報記憶部の一例を示す図である。
実施形態に係る情報処理の一例を示すフローチャートである。
実験結果の一例を示す図である。
実験結果の一例を示す図である。
ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る情報処理方法、情報処理装置および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理方法、情報処理装置および情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１０】
（実施形態）
〔１．実施形態〕
図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。例えば、情報処理装置１００（図３参照）が図１に示す情報処理を実行する。以下では、インターネットにおける質問及び回答等の投稿（文字情報）が違反に該当するか否かの判定に用いるモデル（「違反投稿判定モデル」ともいう）を評価対象のモデルの一例として説明する。なお、違反投稿判定モデルは、以下に示す情報処理での評価対象となるモデルの一例に過ぎず、違反投稿判定モデルに限らず、以下に示す情報処理が適用可能なモデルであれば、任意のモデルが評価対象となるモデルとして採用可能である。
（【００１１】以降は省略されています）

関連特許