特許ウォッチ

公開番号2025091144
公報種別公開特許公報(A)
公開日2025-06-18
出願番号2023206216
出願日2023-12-06
発明の名称グループ化畳み込み処理最適化装置およびグループ化畳み込み処理最適化方法
出願人日本電気株式会社
代理人個人,個人
主分類G06N 3/0464 20230101AFI20250611BHJP(計算;計数)
要約【課題】メモリアドレッシングに制約が課されたハードウェア回路がグループ化畳み込みを高速に実行できるグループ化畳み込み処理最適化装置を提供する。
【解決手段】グループ化畳み込みに対してM個のチャネルで構成されているデータごとに畳み込みの計算が実行される制約が課された場合、第i重み行列の右端に成分が零の列を(M-N/G)列分だけi=1～Gに渡ってそれぞれ挿入する列挿入処理と、第i重み行列の下端に成分が零の行を(M-N/G)行分だけi=1～Gに渡ってそれぞれ挿入する行挿入処理のうち少なくとも1つの処理を実行する第1挿入部21と、入力重み行列の第i×N/G列の右側に成分が零の列を(M-N/G)列分だけi=1～Gに渡ってそれぞれ挿入する入力重み行列挿入処理と、出力重み行列の第i×N/G行の下側に成分が零の行を(M-N/G)行分だけi=1～Gに渡ってそれぞれ挿入する出力重み行列挿入処理のうち少なくとも1つの処理を実行する第2挿入部22とを備える。
【選択図】図11
特許請求の範囲【請求項１】
第１チャネル～第Nチャネル（Nは２以上の整数）が順に並べられて構成されているデータに対してN行N列の入力重み行列が使用されて畳み込みの計算が実行される入力畳み込みと、前記入力畳み込みによる結果がチャネル方向にG（Gは２以上の整数）個に分割され、分割された{(i-1)×N/G＋1}チャネル～(i×N/G)チャネル(i＝１～G)で構成されているデータに対してN/G行N/G列の第i重み行列が使用されて畳み込みの計算がi＝１～Gに渡ってそれぞれ実行されるグループ化畳み込みと、前記グループ化畳み込みによる結果に対してN行N列の出力重み行列が使用されて畳み込みの計算が実行される出力畳み込みとがそれぞれ定義された学習済みの畳み込みニューラルネットワークに関して、前記グループ化畳み込みに対してM個のチャネル（MはN/Gよりも大きい整数）で構成されているデータごとに畳み込みの計算が実行される制約が課された場合、前記第i重み行列の右端に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する列挿入処理と、前記第i重み行列の下端に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する行挿入処理のうち少なくとも１つの処理を実行する第１挿入部と、
前記入力重み行列の第i×N/G列の右側に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する入力重み行列挿入処理と、前記出力重み行列の第i×N/G行の下側に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する出力重み行列挿入処理のうち少なくとも１つの処理を実行する第２挿入部とを備え、
前記第２挿入部は、
前記行挿入処理が実行された場合に前記入力重み行列挿入処理を実行し、
前記列挿入処理が実行された場合に前記出力重み行列挿入処理を実行する
ことを特徴とするグループ化畳み込み処理最適化装置。
続きを表示（約 2,200 文字）【請求項２】
Mは、所定の数のN/Gよりも大きい倍数のうち最小の倍数である
請求項１記載のグループ化畳み込み処理最適化装置。
【請求項３】
グループ化畳み込みでは、左上から右下にかけて第i重み行列が対角線上にi＝１～Gの順に配置された行列が重み行列として使用される
請求項１記載のグループ化畳み込み処理最適化装置。
【請求項４】
制約が課されたグループ化畳み込みの対象として入力されるデータのチャネル数である入力チャネル数と、前記グループ化畳み込みの結果として出力されるデータのチャネル数である出力チャネル数のうち少なくとも１つをM*Gに決定する決定部を備え、
第１挿入部は、
前記入力チャネル数がM*Gに決定された場合に行挿入処理を実行し、
前記出力チャネル数がM*Gに決定された場合に列挿入処理を実行する
請求項１記載のグループ化畳み込み処理最適化装置。
【請求項５】
学習済みの畳み込みニューラルネットワークに入力畳み込み、グループ化畳み込み、および出力畳み込みがそれぞれ定義されているか否かを判定する判定部を備える
請求項１から請求項４のうちのいずれか１項に記載のグループ化畳み込み処理最適化装置。
【請求項６】
第１チャネル～第Nチャネル（Nは２以上の整数）が順に並べられて構成されているデータに対してN行N列の入力重み行列が使用されて畳み込みの計算が実行される入力畳み込みと、前記入力畳み込みによる結果がチャネル方向にG（Gは２以上の整数）個に分割され、分割された{(i-1)×N/G＋1}チャネル～(i×N/G)チャネル(i＝１～G)で構成されているデータに対してN/G行N/G列の第i重み行列が使用されて畳み込みの計算がi＝１～Gに渡ってそれぞれ実行されるグループ化畳み込みと、前記グループ化畳み込みによる結果に対してN行N列の出力重み行列が使用されて畳み込みの計算が実行される出力畳み込みとがそれぞれ定義された学習済みの畳み込みニューラルネットワークに関して、前記グループ化畳み込みに対してM個のチャネル（MはN/Gよりも大きい整数）で構成されているデータごとに畳み込みの計算が実行される制約が課された場合、前記第i重み行列の右端に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する列挿入処理と、前記第i重み行列の下端に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する行挿入処理のうち少なくとも１つの処理を実行し、
前記入力重み行列の第i×N/G列の右側に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する入力重み行列挿入処理と、前記出力重み行列の第i×N/G行の下側に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する出力重み行列挿入処理のうち少なくとも１つの処理を実行し、
前記行挿入処理が実行された場合に前記入力重み行列挿入処理を実行し、
前記列挿入処理が実行された場合に前記出力重み行列挿入処理を実行する
ことを特徴とするグループ化畳み込み処理最適化方法。
【請求項７】
コンピュータに、
第１チャネル～第Nチャネル（Nは２以上の整数）が順に並べられて構成されているデータに対してN行N列の入力重み行列が使用されて畳み込みの計算が実行される入力畳み込みと、前記入力畳み込みによる結果がチャネル方向にG（Gは２以上の整数）個に分割され、分割された{(i-1)×N/G＋1}チャネル～(i×N/G)チャネル(i＝１～G)で構成されているデータに対してN/G行N/G列の第i重み行列が使用されて畳み込みの計算がi＝１～Gに渡ってそれぞれ実行されるグループ化畳み込みと、前記グループ化畳み込みによる結果に対してN行N列の出力重み行列が使用されて畳み込みの計算が実行される出力畳み込みとがそれぞれ定義された学習済みの畳み込みニューラルネットワークに関して、前記グループ化畳み込みに対してM個のチャネル（MはN/Gよりも大きい整数）で構成されているデータごとに畳み込みの計算が実行される制約が課された場合、前記第i重み行列の右端に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する列挿入処理と、前記第i重み行列の下端に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する行挿入処理のうち少なくとも１つの処理を実行する第１挿入処理、および
前記入力重み行列の第i×N/G列の右側に成分が零の列を(M-N/G)列分だけi＝１～Gに渡ってそれぞれ挿入する入力重み行列挿入処理と、前記出力重み行列の第i×N/G行の下側に成分が零の行を(M-N/G)行分だけi＝１～Gに渡ってそれぞれ挿入する出力重み行列挿入処理のうち少なくとも１つの処理を実行する第２挿入処理を実行させるためのグループ化畳み込み処理最適化プログラムであって、
前記第２挿入処理で、
前記行挿入処理が実行された場合に前記入力重み行列挿入処理を実行させ、
前記列挿入処理が実行された場合に前記出力重み行列挿入処理を実行させる
グループ化畳み込み処理最適化プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、グループ化畳み込み処理最適化装置、グループ化畳み込み処理最適化方法およびグループ化畳み込み処理最適化プログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
畳み込みニューラルネットワーク(convolutional neural network;CNN)は、畳み込み層とプーリング層の２種類の層が交互に積み重ねられた構造を持つフィードフォーワード型のニューラルネットワークである。以下、畳み込みニューラルネットワークを単にCNNとも呼ぶ。
【０００３】
図１２は、畳み込みニューラルネットワークの例を示す説明図である。図１２に示すCNNでは、第１畳み込み層、第１プーリング層、第２畳み込み層、第２プーリング層が交互に積み重ねられている。
【０００４】
また、図１２に示すC
1
、C
2
はそれぞれ、畳み込みの計算を表す。例えば、第１畳み込み層に入力される入力画像に対して、畳み込みの計算C
1
が実行される。
【０００５】
なお、画像は、入力されるデータの一例である。CNNに入力されるデータは、画像以外のデータであってもよい。
【０００６】
また、図１２に示すP
1
、P
2
はそれぞれ、プーリングの計算を表す。例えば、第１プーリング層に入力される畳み込みの計算結果に対して、プーリングの計算P
1
が実行される。
【０００７】
また、図１２に示すFは、全結合ネットワークを表す。全結合ネットワークFは、第２プーリング層のノードと出力層のノードを全て結合する全結合層の機能を有する。最終的に、出力層からCNNの出力が得られる。
【０００８】
以下、CNNにおける畳み込みの計算を具体的に説明する。図１３は、CNNにおける畳み込みの計算の例を示す説明図である。なお、図１３に示す畳み込みの計算の例は、図１２に示す畳み込みの計算C
1
に相当する。
【０００９】
図１３に示す入力画像は、CNNに入力される画像である。図１３に示す入力画像は、第１チャネル～第C
in
チャネル（C
in
は２以上の整数）が順に並べられて構成されている。すなわち、C
in
は、入力チャネル数を意味する。また、図１３に示すように、入力画像を構成する画像の縦のサイズはH、横のサイズはWである。
【００１０】
説明を簡便にするため、畳み込みの計算の対象である入力Xとして、図１３に示す格子模様が記された縦のサイズが１、横のサイズが１、チャネル数がC
in
の画像を考える。図１３の下段には、高さ方向から見た場合の入力Xが記載されている。また、図１３に示す入力Xの下の符号は、チャネルの識別番号である（他の図においても同様）。
（【００１１】以降は省略されています）

関連特許