特許ウォッチ

公開番号2025072666
公報種別公開特許公報(A)
公開日2025-05-09
出願番号2025025279,2022534096
出願日2025-02-19,2021-06-30
発明の名称ニューラルネットワーク生成装置
出願人マクセル株式会社
代理人個人,個人,個人
主分類G06N 3/08 20230101AFI20250430BHJP(計算;計数)
要約【課題】IoT機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成するニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムを提供する。
【解決手段】記憶部と、演算部と、データ入力部と、データ出力部と、表示部と、操作入力部と、を備えるニューラルネットワーク生成装置において、演算部は、ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、ニューラルネットワークのネットワーク情報と、に基づいてニューラルネットワーク(NN)実行モデルを生成する実行モデル生成部と、生成したNN実行モデルの学習済みパラメータを生成する学習部と、を備え、学習部は、ニューラルネットワーク実行モデルより高精度なビット数を用いて学習を行い、NN実行モデルにおけるパラメータを決定する。
【選択図】図2
特許請求の範囲【請求項１】
ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成装置であって、
前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、前記ニューラルネットワークのネットワーク情報と、に基づいて前記ニューラルネットワーク実行モデルを生成する実行モデル生成部と、
生成された前記ニューラルネットワーク実行モデルの学習済みパラメータを生成する学習部と、
を備え、
前記学習部は、前記ニューラルネットワーク実行モデルにおけるパラメータの学習時には、前記ハードウェアのハードウェア情報に基づいて構成される前記ニューラルネットワーク実行モデルの推論結果の誤差をもとに、前記ニューラルネットワーク実行モデルより高精度なビット数を用いて学習を行い、前記ニューラルネットワーク実行モデルにおけるパラメータを決定するようにしたことを特徴とする、
ニューラルネットワーク生成装置。
続きを表示（約 480 文字）【請求項２】
前記ニューラルネットワーク実行モデルにおけるパラメータが前記ニューラルネットワーク実行モデルにおける畳み込み演算パラメータであることを特徴とする、
請求項１に記載のニューラルネットワーク生成装置。
【請求項３】
前記ニューラルネットワーク実行モデルにおけるパラメータが前記ニューラルネットワーク実行モデルにおける活性化関数の係数であることを特徴とする、
請求項１に記載のニューラルネットワーク生成装置。
【請求項４】
前記ニューラルネットワーク実行モデルにおけるパラメータは、前記学習部による学習結果に対しルックアップテーブルを用いて低ビット化されて決定されることを特徴とする、
請求項２または３に記載のニューラルネットワーク生成装置。
【請求項５】
前記ハードウェア情報および前記ニューラルネットワーク実行モデルに基づいて、ニューラルネットワークハードウェアモデルを生成するハードウェア生成部をさらに備える、
請求項１に記載のニューラルネットワーク生成装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムに関する。本願は、２０２０年０６月３０日に、日本国に出願された特願２０２０－１１３３１５号に基づき優先権を主張し、その内容をここに援用する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
近年、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ：ＣＮＮ）が画像認識等のモデルとして用いられている。畳み込みニューラルネットワークは、畳み込み層やプーリング層を有する多層構造であり、畳み込み演算等の多数の演算を必要とする。畳み込みニューラルネットワークによる演算を高速化する演算手法が様々考案されている（特許文献１など）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１８－０７７８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、ＩｏＴ機器などの組み込み機器においても畳み込みニューラルネットワークを利用した画像認識等が使用されている。組み込み機器において畳み込みニューラルネットワークを効率的に動作させるため、組み込み機器のハードウェア構成に合わせたニューラルネットワーク（モデルや回路）を生成する生成方法が望まれている。また、ニューラルネットワークを生成する過程において、組み込み機器の限られたハードウェア資源においてニューラルネットワークを高性能に動作させるニューラルネットワークの学習方法が望まれている。
【０００５】
上記事情を踏まえ、本発明は、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成するニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係るニューラルネットワーク生成装置は、ニューラルネットワーク生成装置は、ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成装置であって、前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報と、前記ニューラルネットワークのネットワーク情報と、に基づいて前記ニューラルネットワーク実行モデルを生成する実行モデル生成部と、生成された前記ニューラルネットワーク実行モデルの学習済みパラメータを生成する学習部と、を備える。
【０００７】
本発明の第二の態様に係るニューラルネットワーク生成方法は、ニューラルネットワークを演算するニューラルネットワーク実行モデルを生成するニューラルネットワーク生成方法であって、前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報を取得するハードウェア情報取得工程と、前記ニューラルネットワークのネットワーク情報を設定するネットワーク情報取得工程と、前記ハードウェア情報と前記ネットワーク情報とに基づいて、前記ニューラルネットワーク実行モデルを生成する実行モデル生成工程と、生成された前記ニューラルネットワーク実行モデルの学習パラメータを学習する学習工程と、を備える。
【０００８】
本発明の第三の態様に係るニューラルネットワーク生成プログラムは、ニューラルネットワークを演算するニューラルネットワーク実行モデルをコンピュータに生成させるニューラルネットワーク生成プログラムであって、前記ニューラルネットワーク実行モデルが動作するハードウェアのハードウェア情報をコンピュータに取得させるハードウェア情報取得工程と、前記ニューラルネットワークのネットワーク情報をコンピュータに設定させるネットワーク情報取得工程と、前記ハードウェア情報と前記ネットワーク情報とに基づいて、前記ニューラルネットワーク実行モデルをコンピュータに生成させる実行モデル生成工程と、生成された前記ニューラルネットワーク実行モデルの学習パラメータをコンピュータに学習させる学習工程と、を備える。
【発明の効果】
【０００９】
本発明のニューラルネットワーク生成装置、ニューラルネットワーク生成方法およびニューラルネットワーク生成プログラムは、ＩｏＴ機器などの組み込み機器に組み込み可能であり、高性能に動作させることができるニューラルネットワークを生成できる。
【図面の簡単な説明】
【００１０】
第一実施形態に係るニューラルネットワーク生成装置を示す図である。
同ニューラルネットワーク生成装置の演算部の入出力を示す図である。
畳み込みニューラルネットワークの一例を示す図である。
同畳み込みニューラルネットワークの畳み込み層が行う畳み込み演算を説明する図である。
ニューラルネットワーク実行モデルの一例を示す図である。
同ニューラルネットワーク生成装置の制御フローチャートである。
同ニューラルネットワーク実行モデルの動作例を示すタイミングチャートである。
同畳み込み演算のデータ分割やデータ展開を説明する図である。
同ニューラルネットワーク実行モデルの他の動作例を示すタイミングチャートである。
畳み込み演算の出力データをタイル分割した部分テンソルを示す図である。
入力データをスライス分割した部分テンソルを示す図である。
入力データをスライス分割した部分テンソルを示す図である。
入力データをスライス分割した部分テンソルを示す図である。
レイヤ２Ｍ＋１の畳み込み演算により部分テンソルを出力するために必要な他の部分テンソルを示す図である。
生成される畳み込み演算回路の内部ブロック図である。
同畳み込み演算回路の乗算器の内部ブロック図である。
同乗算器の積和演算ユニットの内部ブロック図である。
同畳み込み演算回路のアキュムレータ回路の内部ブロック図である。
同アキュムレータ回路のアキュムレータユニットの内部ブロック図である。
同畳み込み演算回路の制御回路のステート遷移図である。
生成される量子化演算回路の内部ブロック図である。
同量子化演算回路のベクトル演算回路と量子化回路の内部ブロック図である。
同ベクトル演算回路の演算ユニットのブロック図である。
同量子化回路の量子化ユニットの内部ブロック図である。
生成されるＤＭＡＣの内部ブロック図である。
量子化演算におけるスケーリング係数を説明する図である。
量子化演算におけるスケーリング係数を説明する図である。
量子化演算におけるスケーリング係数を説明する図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許