特許ウォッチ

公開番号2025096942
公報種別公開特許公報(A)
公開日2025-06-30
出願番号2023212953
出願日2023-12-18
発明の名称学習方法及び学習装置
出願人マクセル株式会社
代理人個人,個人,個人
主分類G06N 3/0495 20230101AFI20250623BHJP(計算;計数)
要約【課題】機能モデルによる演算結果とニューラルネットワーク回路による演算結果との誤差を低減する。
【解決手段】学習装置は、学習データを取得する学習データ取得部と、前記学習データ取得部により取得された情報を、学習対象のニューラルネットワークを順伝播させることにより、損失を得る第1順伝播部と、前記第1順伝播部に基づいて生成され、前記第1順伝播部の演算ビット数より小さいビット数で演算を行うことにより損失を得る第2順伝播部と、前記第1順伝播部により得られた損失と、前記第2順伝播部により得られた損失との差を算出する算出部と、前記算出部により算出された差を加算し、前記ニューラルネットワークを逆伝播させる逆伝播部と、前記逆伝播部により行われた逆伝播の結果として損失が減るように前記ニューラルネットワークのパラメータを決定するパラメータ決定部とを備える。
【選択図】図7
特許請求の範囲【請求項１】
学習データを取得する学習データ取得部と、
前記学習データ取得部により取得された情報を、学習対象のニューラルネットワークを順伝播させることにより、損失を得る第１順伝播部と、
前記第１順伝播部に基づいて生成され、前記第１順伝播部の演算ビット数より小さいビット数で演算を行うことにより損失を得る第２順伝播部と、
前記第１順伝播部により得られた損失と、前記第２順伝播部により得られた損失とから閾値を算出する算出部と、
前記算出部により算出された前記閾値を加算し、前記ニューラルネットワークを逆伝播させる逆伝播部と、
前記逆伝播部により行われた逆伝播の結果として損失が減るように前記ニューラルネットワークのパラメータを決定するパラメータ決定部と、
を備える学習装置。
続きを表示（約 830 文字）【請求項２】
前記第１順伝播部の演算順序と、前記第２順伝播部の演算順序とは、互いに異なる、
請求項１に記載の学習装置。
【請求項３】
前記パラメータ決定部により決定されたパラメータは、アクセラレータに実装されるものであって、
前記第２順伝播部の演算順序は、実装されるアクセラレータに応じて異なる、
請求項２に記載の学習装置。
【請求項４】
前記パラメータ決定部により決定されたパラメータは、アクセラレータに実装されるものであって、
前記第２順伝播部の演算式は、実装されるアクセラレータに応じて異なるものである、
請求項１に記載の学習装置。
【請求項５】
実装されるアクセラレータに応じた演算式が予め用意されており、
前記第２順伝播部の演算式は、実装されるアクセラレータに応じて選択される、
請求項４に記載の学習装置。
【請求項６】
学習データを取得する学習データ取得工程と、
前記学習データ取得工程において取得された情報を、学習対象のニューラルネットワークを順伝播させることにより、損失を得る第１順伝播工程と、
前記第１順伝播工程において用いられる第１モデルに基づいて生成された第２モデルを用いて損失を得る工程であって、前記第２モデルの演算ビット数は、前記第１モデルの演算ビット数より小さい第２順伝播工程と、
前記第１順伝播工程において得られた損失と、前記第２順伝播工程において得られた損失とから閾値を算出する算出工程と、
前記算出工程により算出された前記閾値を加算し、前記ニューラルネットワークを逆伝播させる逆伝播工程と、
前記逆伝播工程により行われた逆伝播の結果として損失が減るように前記ニューラルネットワークのパラメータを決定するパラメータ決定工程と、
を有する学習方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、学習方法及び学習装置に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、画像の中から何らかのパターンを認識するための方法として、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ：ＣＮＮ）が知られている。ＩｏＴ機器等の組み込み機器においては、エッジデバイスに対して組み込み可能な、軽量なニューラルネットワーク回路が用いられている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
特許第６８９６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、畳み込みニューラルネットワークの構成や仕様を決定して、畳み込みニューラルネットワークの機能モデルを生成し、当該機能モデルを用いて学習した学習済みパラメータを生成するために、公知のライブラリやプラットホームが利用されている。このようなライブラリやプラットホームにおいて生成されたニューラルネットワークの機能モデルや学習済みパラメータを、軽量なニューラルネットワーク回路において実施可能な演算に変換して演算させる場合、演算精度やデータフォーマットの違いにより、演算結果に誤差が生じる場合があった。
【０００５】
このような事情を踏まえ、本発明は、ニューラルネットワークの機能モデルと当該機能モデルを用いて学習した学習済みパラメータを、ニューラルネットワーク回路において実施可能な演算に変換して演算させる場合、機能モデルによる演算結果とニューラルネットワーク回路による演算結果とに誤差が発生しにくい学習装置及び学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様は、学習データを取得する学習データ取得部と、前記学習データ取得部により取得された情報を、学習対象のニューラルネットワークを順伝播させることにより、損失を得る第１順伝播部と、前記第１順伝播部に基づいて生成され、前記第１順伝播部の演算ビット数より小さいビット数で演算を行うことにより損失を得る第２順伝播部と、前記第１順伝播部により得られた損失と、前記第２順伝播部により得られた損失とから閾値を算出する算出部と、前記算出部により算出された前記閾値を加算し、前記ニューラルネットワークを逆伝播させる逆伝播部と、前記逆伝播部により行われた逆伝播の結果として損失が減るように前記ニューラルネットワークのパラメータを決定するパラメータ決定部とを備える学習装置である。
【０００７】
［２］また、本発明の一態様は、上記［１］に記載の学習装置において、前記第１順伝播部の演算順序と、前記第２順伝播部の演算順序とは、互いに異なるものである。
【０００８】
［３］また、本発明の一態様は、上記［２］に記載の学習装置であって、前記パラメータ決定部により決定されたパラメータは、アクセラレータに実装されるものであって、前記第２順伝播部の演算順序は、実装されるアクセラレータに応じて異なるものである。
【０００９】
［４］また、本発明の一態様は、上記［１］に記載の学習装置であって、前記パラメータ決定部により決定されたパラメータは、アクセラレータに実装されるものであって、前記第２順伝播部の演算式は、実装されるアクセラレータに応じて異なるものである。
【００１０】
［５］また、本発明の一態様は、上記［４］に記載の学習装置であって、実装されるアクセラレータに応じた演算式が予め用意されており、前記第２順伝播部の演算式は、実装されるアクセラレータに応じて選択されるものである。
（【００１１】以降は省略されています）

関連特許