特許ウォッチ

公開番号2025096782
公報種別公開特許公報(A)
公開日2025-06-30
出願番号2023212691
出願日2023-12-18
発明の名称学習方法、装置及びプログラム並びにモデル選択方法
出願人株式会社デンソーテン
代理人弁理士法人佐野特許事務所
主分類G06N 3/082 20230101AFI20250623BHJP(計算;計数)
要約【課題】所望の推論モデルを効率的に生成する。
【解決手段】入力データに基づき推論を行う推論モデルを生成するための学習方法であって、ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、学習モデルに対する第1プルーニングを経て学習モデルの性能を評価する評価単位処理(S10)を、互いに異なる構造を持つ複数の学習モデルに対して実行する。評価単位処理における評価の結果に基づき、第1プルーニング前における複数の学習モデルの中から対象モデルを選択する(S20)。学習用データを用いて評価用学習よりも多い学習回数にて対象モデルを学習させる本学習(S21)の後、対象モデルに対し第2プルーニング(S23)を行うことで推論モデルを生成する。
【選択図】図8
特許請求の範囲【請求項１】
入力データに基づき推論を行う推論モデルを生成するための学習方法であって、
ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、前記学習モデルに対する第１プルーニングを経て前記学習モデルの性能を評価する評価単位処理を、互いに異なる構造を持つ複数の学習モデルに対して実行し、
前記評価単位処理における前記評価の結果に基づき、前記第１プルーニング前における前記複数の学習モデルの中から対象モデルを選択し、
前記学習用データを用いて前記評価用学習よりも多い学習回数にて前記対象モデルを学習させる本学習の後、前記対象モデルに対し第２プルーニングを行うことで前記推論モデルを生成する
、学習方法。
続きを表示（約 1,600 文字）【請求項２】
前記評価単位処理において、前記学習モデルごとに、評価用データを用いて前記評価用学習及び前記第１プルーニング後における前記学習モデルに評価用推論を行わせ、
前記学習モデルごとの前記評価用推論の結果に基づき、前記評価用学習及び前記第１プルーニング後における前記学習モデルの性能を前記複数の学習モデル間で比較し、その比較結果に基づき前記対象モデルを選択する
、請求項１に記載の学習方法。
【請求項３】
前記複数の学習モデルの内、前記評価用学習及び前記第１プルーニング後において最大の性能を持つ前記学習モデルを、前記対象モデルとして選択する
、請求項２に記載の学習方法。
【請求項４】
前記性能は前記評価用推論における推論精度又は前記評価用推論における推論誤差により評価され、
前記推論精度が最大となる前記学習モデル又は前記推論誤差が最小となる前記学習モデルを、前記複数の学習モデルの中から前記対象モデルとして選択する
、請求項２に記載の学習方法。
【請求項５】
前記評価単位処理において、前記学習モデルごとに、前記評価用学習及び前記第１プルーニング後の前記学習モデルによる計算量が目標計算量以下となるよう前記第１プルーニングを行い、
前記本学習及び前記第２プルーニング後の前記対象モデルによる計算量が前記目標計算量以下となるよう前記第２プルーニングを行う
、請求項１～４の何れかに記載の学習方法。
【請求項６】
入力データに基づき推論を行う推論モデルの生成に供されるモデル選択方法であって、
ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、前記学習モデルに対するプルーニングを経て前記学習モデルの性能を評価する評価単位処理を、互いに異なる構造を持つ複数の学習モデルに対して実行し、
各学習モデルに対する前記評価の結果に基づき、前記プルーニング前における前記複数の学習モデルの中から前記推論モデルの元となる対象モデルを選択する
、モデル選択方法。
【請求項７】
入力データに基づき推論を行う推論モデルを生成する学習装置であって、
ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、前記学習モデルに対する第１プルーニングを経て前記学習モデルの性能を評価する評価単位処理を、互いに異なる構造を持つ複数の学習モデルに対して実行し、
前記評価単位処理における前記評価の結果に基づき、前記第１プルーニング前における前記複数の学習モデルの中から対象モデルを選択し、
前記学習用データを用いて前記評価用学習よりも多い学習回数にて前記対象モデルを学習させる本学習の後、前記対象モデルに対し第２プルーニングを行うことで前記推論モデルを生成する
、学習装置。
【請求項８】
入力データに基づき推論を行う推論モデルを生成するための学習方法をコンピュータに実行させるプログラムであって、
前記学習方法では、ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、前記学習モデルに対する第１プルーニングを経て前記学習モデルの性能を評価する評価単位処理を、互いに異なる構造を持つ複数の学習モデルに対して実行し、
前記評価単位処理における前記評価の結果に基づき、前記第１プルーニング前における前記複数の学習モデルの中から対象モデルを選択し、
前記学習用データを用いて前記評価用学習よりも多い学習回数にて前記対象モデルを学習させる本学習の後、前記対象モデルに対し第２プルーニングを行うことで前記推論モデルを生成する
、学習プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習方法、装置及びプログラム並びにモデル選択方法に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
ＤＮＮ（ディープニューラルネットワーク）を有するモデルを用いた様々な演算処理が実用化されている。ＤＮＮの設計では、設計者がＤＮＮの層（畳み込み層、プーリング層など）ごとに設計パラメータ（カーネルサイズ、出力チャネル数など）を決定する必要がある。近年、ＤＮＮは多層化が進んでおり、１００層を超えるＤＮＮも多く存在する。ＤＮＮの設計工程では、ＤＮＮの構造設定とＤＮＮの性能評価とを含むプロセスを複数回繰り返すことで、ＤＮＮの設計の最適化を図る。但し、多層のＤＮＮにおける設計パラメータの候補数は膨大であり、設計者自身のみでＤＮＮの設計を最適化させることは難しい。
【０００３】
ＤＮＮの設計を自動化する方法としてＮＡＳ（Neural Architecture Search）と呼ばれる手法が提案されている。ＮＡＳでは、事前にＤＮＮの設計パターンの候補 (探索空間) を定めておく。そして、探索空間からモデルをサンプリングした後、比較的短い時間でのモデルの学習（数イテレーションから数エポック程度の学習）を経てモデルの評価を行うという一連の処理を、所望の目標性能が得られるまで繰り返す。尚、下記特許文献１には、目標ハードウェアの目標制約条件に応じた探索空間情報を選定する方法が開示さている。
【先行技術文献】
【特許文献】
【０００４】
特開第７１１１６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
通常、ＮＡＳによるＤＮＮ構造の探索後、最も高性能のモデルを選択し、選択したモデルに対し学習回数を増やした学習を実行する。その後、学習済みモデルをＳｏＣ（System-on-a-chip）等のハードウェアに適用するにあたり、モデルの軽量化及び高速化を図るべく、プルーニングを行うことが多い。しかしながら、プルーニングによってモデルの性能が急激に低下し、その後にモデルの再学習を行っても目標性能が得られないこともある。その場合には、再度、別のモデルを選択するところからやり直す必要があり、手戻りが大きい。このような手戻りの発生は所望の推論モデル（学習済みモデル）の効率的な生成を妨げる。
【０００６】
本発明は、所望の推論モデルの効率的な生成に寄与する学習方法、装置及びプログラム並びにモデル選択方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る学習方法は、入力データに基づき推論を行う推論モデルを生成するための学習方法であって、ニューラルネットワークにより構成される学習モデルを学習用データに基づき学習させる評価用学習の後、前記学習モデルに対する第１プルーニングを経て前記学習モデルの性能を評価する評価単位処理を、互いに異なる構造を持つ複数の学習モデルに対して実行する。当該学習方法では、前記評価単位処理における前記評価の結果に基づき、前記第１プルーニング前における前記複数の学習モデルの中から対象モデルを選択し、前記学習用データを用いて前記評価用学習よりも多い学習回数にて前記対象モデルを学習させる本学習の後、前記対象モデルに対し第２プルーニングを行うことで前記推論モデルを生成する。
【発明の効果】
【０００８】
評価単位処理における評価の結果に基づき、第１プルーニング後の性能として相対的に高い性能を持つ学習モデルを対象モデルとして選択することできる。第１プルーニング後の性能として相対的に高い性能を持つ学習モデルは、第２プルーニング後においても相対的に高い性能を持つと期待される。つまり、上記学習方法によれば、第２プルーニングを経ても高い性能が期待されるモデルを対象モデルとして選択することが可能となる。逆に言えば、第２プルーニングにより性能が目標を満たさなくなるようなモデルが対象モデルとして選択されにくくなる。このため、本学習及び第２プルーニングの後、対象モデルの性能が目標を満たさないことを理由に対象モデルの選択からやり直す必要が生じにくくなる（手戻りの発生が抑制される）。即ち、効率良く（より少ない計算コスト又は時間コストにて）、所望の推論モデル（目能を満たす対象モデル）を生成することができる。
【図面の簡単な説明】
【０００９】
本発明の実施形態に係る学習システムの全体構成図である。
本発明の実施形態に係り、モデルの入出力データを示す図である。
本発明の実施形態に係り、学習用データの例である画像データセットを示す図である。
本発明の実施形態に係り、ニューラルネットワークの内部構造例を示す図である。
本発明の実施形態に係り、２つの層間における結合の様子を示す図である。
参考例に係る動作フローチャートである。
参考例に係り、プルーニングが性能及び計算量に影響を与える様子を示す図である。
本発明の実施形態に係る学習装置の動作フローチャートである。
本発明の実施形態に係り、図８に示されるモデル評価処理のフローチャートである。
本発明の実施形態に係り、ＮＡＳによってニューラルネットワークの各層の構造が候補の中から選択される様子を示す図である。
本発明の実施形態に係り、評価用学習後のプルーニングが性能及び計算量に影響を与える様子を示す図である。
本発明の実施形態に係り、本学習後のプルーニングが性能及び計算量に影響を与える様子を示す図である。
本発明の実施形態に属する第２実施例に係り、プルーニングが性能及び計算量に影響を与える様子を示す図である。
本発明の実施形態に属する第６実施例に係り、コントローラの機能ブロック図である。
本発明の実施形態に属する第８実施例に係り、推定器生成装置の構成及び動作等を説明するための図である。
本発明の実施形態に属する第９実施例に係り、推定器生成装置の構成及び動作等を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、機能部、回路、素子又は部品等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量、機能部、回路、素子又は部品等の名称を省略又は略記することがある。
（【００１１】以降は省略されています）

関連特許