特許ウォッチ

公開番号2025072175
公報種別公開特許公報(A)
公開日2025-05-09
出願番号2023182752
出願日2023-10-24
発明の名称画像処理装置、撮像装置、制御方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06T 7/00 20170101AFI20250430BHJP(計算;計数)
要約【課題】画像に対する畳み込み演算処理を効率的に実行する。
【解決手段】画像処理装置は、入力データに対して、ニューラルネットワークにおける畳み込み演算処理を実行する演算手段と、各々が画像中の部分領域に対応する複数のタイルを取得する取得手段と、複数のタイルの各々を入力データとして、演算手段に畳み込み演算処理を実行させるよう制御する制御手段と、を有し、制御手段は、複数のタイルのうちの少なくとも一部のタイルについて、当該タイルに含まれる、他のタイルと画像中の対応する領域が同一である重複画素を、畳み込み演算処理の対象から除外するように演算手段を制御する。
【選択図】図4
特許請求の範囲【請求項１】
入力データに対して、ニューラルネットワークにおける畳み込み演算処理を実行する演算手段と、
各々が画像中の部分領域に対応する複数のタイルを取得する取得手段と、
前記複数のタイルの各々を前記入力データとして、前記演算手段に前記畳み込み演算処理を実行させるよう制御する制御手段と、
を有し、
前記制御手段は、前記複数のタイルのうちの少なくとも一部のタイルについて、当該タイルに含まれる、他のタイルと前記画像中の対応する領域が同一である重複画素を、前記畳み込み演算処理の対象から除外するように前記演算手段を制御する
ことを特徴とする画像処理装置。
続きを表示（約 1,800 文字）【請求項２】
前記制御手段は、前記少なくとも一部のタイルから前記重複画素を除外して構成した画像を前記入力データとすることで、当該重複画素を前記演算手段による前記畳み込み演算処理の対象から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のタイルは、前記画像に設定された所定数の部分領域であって、少なくとも他の部分領域と重複して設定された当該所定数の部分領域のいずれかに対応した画像であり、
前記重複画素は、前記所定数の部分領域のうちの、隣接して設定された部分領域が重複する領域に対応する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、
前記複数のタイルの各々を順に前記入力データとして選択し、前記演算手段に前記畳み込み演算処理を実行させ、
前記他のタイルについての前記畳み込み演算処理が完了していることを条件として、前記少なくとも一部のタイルに含まれる前記重複画素を前記畳み込み演算処理の対象から除外するように前記演算手段を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、直近に前記入力データとして選択したタイルに対応する部分領域と前記画像において垂直方向に隣接する部分領域に対応したタイルを、次の前記入力データとして選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記演算手段による前記畳み込み演算処理の結果に基づいて、前記複数のタイルの各々の出力データを生成する出力手段をさらに有し、
前記出力手段は、前記少なくとも一部のタイルについて、当該タイルについての前記畳み込み演算処理の結果と、前記他のタイルについての前記重複画素の前記畳み込み演算処理の結果とに基づいて、前記出力データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記ニューラルネットワークは、畳み込み層として複数の階層を具備し、前記画像に対し当該複数の階層で前記畳み込み演算処理をくり返し実行する畳み込みニューラルネットワークであり、
前記制御手段は、前記畳み込みニューラルネットワークの階層ごとに、前記複数のタイルの各々について前記演算手段に前記畳み込み演算処理を実行させ、
前記取得手段は、
前記畳み込みニューラルネットワークの入力層について、前記画像に複数設定された部分領域に含まれる画像を前記複数のタイルとして取得し、
前記畳み込みニューラルネットワークの後続層について、前の階層について前記出力手段により生成された複数の前記出力データを、当該層の前記複数のタイルとして取得する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、同一の部分領域に対応する前記少なくとも一部のタイルについて、前記畳み込みニューラルネットワークの階層に応じて、前記重複画素として除外する画素を異ならせることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記演算手段は、前記畳み込みニューラルネットワークの各階層において前記入力データに含まれる画素の各々について、当該画素を基準に定めた所定の領域に含まれる画素の画素値を用いて前記畳み込み演算処理を実行するものであり、
１つの画素についての前記畳み込み演算処理の結果に寄与する前記画像中の受容野の大きさは、当該畳み込み演算処理を実行した前記畳み込みニューラルネットワークの階層に応じて定まり、
前記制御手段は、前記重複画素として除外する画素を、前記演算手段に実行させる前記畳み込み演算処理における前記受容野の大きさに基づいて決定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記受容野の大きさは、前記畳み込みニューラルネットワークにおいて深い階層ほど大きくなり、
前記制御手段は、同一の部分領域に対応する前記少なくとも一部のタイルについて、前記畳み込みニューラルネットワークの階層が深いほど、前記重複画素として除外する画素を少なくすることを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特にニューラルネットワークを利用した画像処理技術に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
近年、ニューラルネットワークを用いたディープラーニング技術は、幅広い技術分野で利用されている。特に、画像処理の分野では、畳み込みニューラルネットワーク（Convolutional Neural Network（ＣＮＮ））が広く利用されている。畳み込みニューラルネットワークでは、畳み込み演算を再帰的に行って得られた画像の特徴量を用いることで、高精度な学習を実現することができる（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１２５１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ＣＮＮを用いたディープラーニング処理は、幅広い需要があり、近年では所定の演算能力を有するサーバに限らず、種々のエッジデバイスでもリアルタイムに実行可能になってきている。例えば、ＡＩＣｈｉｐやＩＰ等の形態でＣＮＮに特化したハードウェア（以下、ＣＮＮ演算器として言及）も流通しており、当該ハードウェアを組み込むことで、エッジデバイスにおけるディープラーニング処理が実行可能である。
【０００５】
ＣＮＮ演算器は、演算対象のデータを保持するためのバッファを有するが、そのバッファサイズは有限である。近年の撮像素子の多画素化により、デジタルカメラ等で扱われる画像のデータサイズは増大しており、ＣＮＮ演算器で画像を処理するためには、当該画像をバッファサイズよりも小さいサイズのタイルに分割し、タイル単位でＣＮＮ演算器に処理させる必要がある。
【０００６】
一方で、画像を単純に領域で分割してタイルを構成すると、タイル間の境界部にあたる端部において好適な処理結果が得られないことがある。これは、画像の１つの画素に対して、当該画素とその周囲に分布する画素とを参照して畳み込み演算が行われることに依る。つまり、タイルに含まれない画素、即ち、ＣＮＮ演算器のバッファに保持されない画素を参照することができないため、畳み込み演算の処理結果は、タイル分割せずに得られる処理結果と異なる。
【０００７】
故に、画像全体について好適な処理結果を得るためには、ＣＮＮ演算器に入力する各タイルを、画像を単純に分割した領域だけでなく、その周囲画素も含む態様で構成する必要がある。換言すれば、ＣＮＮ演算器に順次入力されて畳み込み演算が行われる複数のタイルの各々は、他のタイルとの間で重複する画素領域を含んで構成される。
【０００８】
しかしながら、このように重複する画素領域を含ませてタイルを構成すると、結果的に、分割せずに画像に畳み込み演算を行う場合よりも処理時間が増大することになる。
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、画像に対する畳み込み演算処理を効率的に実行する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前述の目的を達成するために、本発明の画像処理装置は、入力データに対して、ニューラルネットワークにおける畳み込み演算処理を実行する演算手段と、各々が画像中の部分領域に対応する複数のタイルを取得する取得手段と、複数のタイルの各々を入力データとして、演算手段に畳み込み演算処理を実行させるよう制御する制御手段と、を有し、制御手段は、複数のタイルのうちの少なくとも一部のタイルについて、当該タイルに含まれる、他のタイルと画像中の対応する領域が同一である重複画素を、畳み込み演算処理の対象から除外するように演算手段を制御することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許