特許ウォッチ

公開番号2025024665
公報種別公開特許公報(A)
公開日2025-02-20
出願番号2024041796
出願日2024-03-18
発明の名称ニューラルネットワーク作成装置およびニューラルネットワーク作成方法
出願人三菱電機エンジニアリング株式会社,国立大学法人熊本大学
代理人弁理士法人山王内外特許事務所
主分類G06N 3/0985 20230101AFI20250213BHJP(計算;計数)
要約【課題】制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能とする。
【解決手段】ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部101と、制約条件を取得する制約条件取得部102と、制約条件取得部102により取得された制約条件に基づいて、パラメータ化情報取得部101により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部103とを備えた。
【選択図】図1
特許請求の範囲【請求項１】
ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、
制約条件を取得する制約条件取得部と、
前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部と
を備えたニューラルネットワーク作成装置。
続きを表示（約 1,400 文字）【請求項２】
前記ニューラルネットワーク作成部により作成された複数のニューラルネットワークに基づいて、当該ニューラルネットワークごとに、学習データを用いて学習処理を行う学習部と、
前記学習部による学習後のニューラルネットワークのうち、学習が妥当であると判定されたニューラルネットワークの中から、ニューラルネットワークを１つ選択するニューラルネットワーク選択部と、
前記ニューラルネットワーク選択部により選択されたニューラルネットワークを前記エッジデバイスに実装するニューラルネットワーク実装部とを備えた
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項３】
前記学習部は、
学習データとしてラベル付データセットを用い、ニューラルネットワークを学習させる第１の学習部と、
ラベル無データセットを取得し、前記第１の学習部による学習後のニューラルネットワークに当該ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する疑似ラベル付データセット生成部と、
前記ラベル付データセット、および、前記疑似ラベル付データセット生成部により生成された疑似ラベル付データセットに対して、それぞれノイズをかけるノイズ付加部と、
前記ノイズ付加部によりノイズがかけられたラベル付データセットおよび疑似ラベル付データセットを用い、ニューラルネットワークを学習させる第２の学習部とを有し、
前記疑似ラベル付データセット生成部は、前記第２の学習部によりニューラルネットワークが学習された場合には、当該第２の学習部による学習後のニューラルネットワークに前記ラベル無データセットを入力することで、疑似ラベルを付与した疑似ラベル付データセットを生成する
ことを特徴とする請求項２記載のニューラルネットワーク作成装置。
【請求項４】
前記ニューラルネットワーク作成部は、学習後の全てのニューラルネットワークについて学習が妥当ではないと判定された場合、前回とは異なるパラメータの複数のニューラルネットワークを再度作成する
ことを特徴とする請求項１から請求項３のうちの何れか１項記載のニューラルネットワーク作成装置。
【請求項５】
前記パラメータ化される構造は、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎｌａｙｅｒでの拡大率である
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項６】
前記パラメータ化される構造は、ニューラルネットワークの種類に基づく
ことを特徴とする請求項１記載のニューラルネットワーク作成装置。
【請求項７】
パラメータ化情報取得部が、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するステップと、
制約条件取得部が、制約条件を取得するステップと、
ニューラルネットワーク作成部が、前記制約条件取得部により取得された制約条件に基づいて、前記パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するステップと
を有するニューラルネットワーク作成方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ニューラルネットワークを作成するニューラルネットワーク作成装置およびニューラルネットワーク作成方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、環境に応じて柔軟にニューラルネットワークのサイズを変えることができるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）として、ＥｆｆｉｃｉｅｎｔＮｅｔが知られている（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
https://arxiv.org/pdf/1905.11946.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このＥｆｆｉｃｉｅｎｔＮｅｔでは、ニューラルネットワークのサイズを簡単に変えることは可能である。しかしながら、このＥｆｆｉｃｉｅｎｔＮｅｔでは、計算量が大きく、資源の少ないエッジデバイス向けのニューラルネットワークではない。
【０００５】
本開示は、上記のような課題を解決するためになされたもので、制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能となるニューラルネットワーク作成装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本開示に係るニューラルネットワーク作成装置は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示すパラメータ化情報を取得するパラメータ化情報取得部と、制約条件を取得する制約条件取得部と、制約条件取得部により取得された制約条件に基づいて、パラメータ化情報取得部により取得されたパラメータ化情報が示すパラメータ化された複数の構造に対してパラメータを設定することで、複数のニューラルネットワークを作成するニューラルネットワーク作成部とを備えたことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、上記のように構成したので、制約条件に応じて、エッジデバイス向けのニューラルネットワークを自動で作成可能となる。
【図面の簡単な説明】
【０００８】
実施の形態１に係るニューラルネットワーク作成装置の構成例を示す図である。
実施の形態１に係るニューラルネットワーク作成装置の動作例を示すフローチャートである。
実施の形態１に係るニューラルネットワーク作成装置の別の動作例を示すフローチャートである。
実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の一例を示す図である。
実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の別の一例を示す図である。
実施の形態１に係るニューラルネットワーク作成装置で用いられる、ニューラルネットワークが有する層の構造に対するパラメータ化の別の一例を示す図である。
実施の形態２に係るニューラルネットワーク作成装置の構成例を示す図である。
実施の形態２における学習部の構成例を示す図である。
実施の形態２における学習部の動作例を示す図である。
図１０Ａ、図１０Ｂは、実施の形態１，２に係るニューラルネットワーク作成装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係るニューラルネットワーク作成装置１の構成例を示す図である。
このニューラルネットワーク作成装置１は、ニューラルネットワークを自動で作成する装置である。このニューラルネットワーク作成装置１は、図１に示すように、パラメータ化情報取得部１０１、制約条件取得部１０２、ニューラルネットワーク作成部１０３、学習部１０４、学習判定部１０５、ニューラルネットワーク選択部１０６、および、ニューラルネットワーク実装部１０７を備えている。
【００１０】
パラメータ化情報取得部１０１は、パラメータ化情報を取得する。パラメータ化情報は、ニューラルネットワークが有する層の構造のうち、パラメータ化された複数の構造を示す情報である。
なお、上記パラメータ化される構造としては、例えば、チャネル数、モジュール、カーネル数、ストライド数、層の数、または、ｅｘｐａｎｓｉｏｎｌａｙｅｒでの拡大率などが挙げられる。このパラメータ化される構造は、ニューラルネットワークの種類によっても異なる。
（【００１１】以降は省略されています）

関連特許