特許ウォッチ

公開番号2025040123
公報種別公開特許公報(A)
公開日2025-03-24
出願番号2023146840
出願日2023-09-11
発明の名称機械学習装置、機械学習方法、及びプログラム
出願人日本電信電話株式会社,学校法人千葉工業大学
代理人弁理士法人ITOH,個人,個人,個人
主分類G06N 20/00 20190101AFI20250314BHJP(計算;計数)
要約【課題】予測性能と解釈性の高い機械学習モデルを学習できる技術を提供すること。
【解決手段】本開示の一態様による機械学習装置は、機械学習モデルを学習するための学習用データを入力する入力部と、前記学習用データを用いて、前記機械学習モデルの予測性能と、前記機械学習モデルの予測結果を所定の説明手法により解釈したときの解釈性とが高くなるように、前記機械学習モデルを学習する学習部と、を有する。
【選択図】図2
特許請求の範囲【請求項１】
機械学習モデルを学習するための学習用データを入力する入力部と、
前記学習用データを用いて、前記機械学習モデルの予測性能と、前記機械学習モデルの予測結果を所定の説明手法により解釈したときの解釈性とが高くなるように、前記機械学習モデルを学習する学習部と、
を有する機械学習装置。
続きを表示（約 1,900 文字）【請求項２】
前記学習部は、
前記学習用データに含まれる特徴量から前記機械学習モデルにより予測された予測結果と前記学習用データに含まれる教師データとの誤差を表す予測誤差と、前記解釈の解釈性が良いほど小さい値を取る評価尺度を表す解釈誤差とが含まれる目的関数を最小化するように前記機械学習モデルのパラメータを更新することにより、前記機械学習モデルを学習する、請求項１に記載の機械学習装置。
【請求項３】
前記解釈誤差は、挿入尺度の微分可能な近似、又は、削除尺度の微分可能な近似のいずれかであり、
前記学習部は、
勾配法を用いて、前記目的関数を最小化するように前記機械学習モデルのパラメータを更新する、請求項２に記載の機械学習装置。
【請求項４】
前記解釈は、Ｍ個の特徴量ｘ
（１）
，・・・，ｘ
（Ｍ）
それぞれの予測結果に対する寄与度φ
（１）
，・・・，φ
（Ｍ）
であり、
各特徴量の寄与度を大きい順に上から下に並べたときに、ｍ番目の特徴量の寄与度φ
（ｍ）
が、上からｓ番目の特徴量の寄与度よりも十分に大きければ１、十分に小さければ０をとるような微分可能なシグモイド関数をｒ（φ
（ｍ）
；ｓ）、何の情報を持たない特徴量を表すＭ個の背景特徴量をｂ
（１）
，・・・，ｂ
（Ｍ）
として、
前記挿入尺度の微分可能な近似は、
予め決められた１以上の整数をＳとして、α（ｘ，φ，ｓ）
（ｍ）
＝ｒ（φ
（ｍ）
；ｓ）ｘ
（ｍ）
＋（１－ｒ（φ
（ｍ）
；ｓ））ｂ
（ｍ）
をｍ番目の要素とするＭ次元ベクトルを前記機械学習モデルに入力したときの予測結果の対数をとった値に関するｓ＝１からｓ＝Ｓまでの平均に対してマイナスを乗じたものである、請求項３に記載の機械学習装置。
【請求項５】
前記解釈は、Ｍ個の特徴量ｘ
（１）
，・・・，ｘ
（Ｍ）
それぞれの予測結果に対する寄与度φ
（１）
，・・・，φ
（Ｍ）
であり、
各特徴量の寄与度を大きい順に上から下に並べたときに、ｍ番目の特徴量の寄与度φ
（ｍ）
が、上からｓ番目の特徴量の寄与度よりも十分に大きければ１、十分に小さければ０をとるような微分可能なシグモイド関数をｒ（φ
（ｍ）
；ｓ）、何の情報を持たない特徴量を表すＭ個の背景特徴量をｂ
（１）
，・・・，ｂ
（Ｍ）
として、
前記削除尺度の微分可能な近似は、
予め決められた１以上の整数をＳとして、α（ｘ，φ，ｓ）
（ｍ）
＝ｒ（φ
（ｍ）
；ｓ）ｂ
（ｍ）
＋（１－ｒ（φ
（ｍ）
；ｓ））ｘ
（ｍ）
をｍ番目の要素とするＭ次元ベクトルを前記機械学習モデルに入力したときの予測結果の対数をとった値に関するｓ＝１からｓ＝Ｓまでの平均である、請求項３に記載の機械学習装置。
【請求項６】
Ｍ個の前記背景特徴量ｂ
（１）
，・・・，ｂ
（Ｍ）
で構成されるベクトルを背景特徴量ベクトル、Ｍ個の前記特徴量ｘ
（１）
，・・・，ｘ
（Ｍ）
で構成されるベクトルを特徴量ベクトルとして、前記背景特徴量ベクトルは、各学習用データのそれぞれに含まれる前記特徴量ベクトルの平均ベクトル、又は、ゼロベクトル、である、請求項４又は５に記載の機械学習装置。
【請求項７】
機械学習モデルを学習するための学習用データを入力する入力手順と、
前記学習用データを用いて、前記機械学習モデルの予測性能と、前記機械学習モデルの予測結果を所定の説明手法により解釈したときの解釈性とが高くなるように、前記機械学習モデルを学習する学習手順と、
をコンピュータが実行する機械学習方法。
【請求項８】
機械学習モデルを学習するための学習用データを入力する入力手順と、
前記学習用データを用いて、前記機械学習モデルの予測性能と、前記機械学習モデルの予測結果を所定の説明手法により解釈したときの解釈性とが高くなるように、前記機械学習モデルを学習する学習手順と、
をコンピュータに実行させるプログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習装置、機械学習方法、及びプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
深層学習モデルをはじめとする機械学習モデルは高い性能を達成することができる一方で、その予測結果の解釈性が低いという問題がある。機械学習モデルによる予測結果の解釈性を高めることにより、その機械学習モデルを利用するシステムの信頼性を高めることが可能となる。
【０００３】
上記の問題に対して、機械学習モデルの予測結果を解釈するための説明手法が提案されている（例えば、非特許文献１等）。
【先行技術文献】
【非特許文献】
【０００４】
Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. 2016. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '16).
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来、機械学習モデルは予測性能を高めるように学習されており、必ずしも解釈しやすいように学習されていないという問題がある。
【０００６】
本開示は、上記の点に鑑みてなされたもので、予測性能と解釈性の高い機械学習モデルを学習できる技術を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様による機械学習装置は、機械学習モデルを学習するための学習用データを入力する入力部と、前記学習用データを用いて、前記機械学習モデルの予測性能と、前記機械学習モデルの予測結果を所定の説明手法により解釈したときの解釈性とが高くなるように、前記機械学習モデルを学習する学習部と、を有する。
【発明の効果】
【０００８】
予測性能と解釈性の高い機械学習モデルを学習できる技術が提供される。
【図面の簡単な説明】
【０００９】
本実施形態に係る機械学習装置のハードウェア構成の一例を示す図である。
本実施形態に係る機械学習装置の機能構成の一例を示す図である。
本実施形態に係る学習処理の一例を示すフローチャートである。
本実施形態に係る予測処理の一例を示すフローチャートである。
挿入尺度による解釈性と正答率とを用いた評価結果の一例を示す図である。
削除尺度による解釈性と正答率とを用いた評価結果の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について説明する。以下の実施形態では、予測性能と解釈性の高い機械学習モデルを学習できる機械学習装置１０について説明する。また、学習済みの機械学習モデルによる予測とその予測結果の解釈とを機械学習装置１０が計算及び出力する場合についても説明する。
（【００１１】以降は省略されています）

関連特許