特許ウォッチ

公開番号2025092230
公報種別公開特許公報(A)
公開日2025-06-19
出願番号2023207980
出願日2023-12-08
発明の名称画像処理装置、画像処理方法、及び、プログラム
出願人キヤノン株式会社
代理人個人,個人,個人,個人,個人
主分類G06T 7/00 20170101AFI20250612BHJP(計算;計数)
要約【課題】複雑な設定を行うことなく、撮像領域における変化領域を精度よく検出できるようにする。
【解決手段】撮像領域が撮像された撮像画像を取得する画像取得部401と、取得される撮像画像をニューラルネットワークの入力層に入力することにより、ニューラルネットワークにおける第1の特徴抽出層から出力される第1の特徴マップと、第1の特徴抽出層よりも入力層から遠い第2の特徴抽出層から出力される第2の特徴マップと、を抽出する抽出部404と、第1の特徴マップに基づいて、撮像画像において撮像領域が所定の状態から変化した変化領域と変化領域でない領域との境界を推定し、第2の特徴マップと推定した境界とに基づいて、撮像画像における変化領域を検出する検出部406とを有する。
【選択図】図4
特許請求の範囲【請求項１】
撮像領域が撮像された撮像画像を取得する画像取得手段と、
前記画像取得手段により取得される撮像画像をニューラルネットワークの入力層に入力することにより、前記ニューラルネットワークにおける第１の特徴抽出層から出力される第１の特徴マップと、前記第１の特徴抽出層よりも前記入力層から遠い第２の特徴抽出層から出力される第２の特徴マップと、を抽出する抽出手段と、
前記抽出手段により抽出される第１の特徴マップに基づいて、前記撮像画像において前記撮像領域が所定の状態から変化した変化領域と前記変化領域でない領域との境界を推定する推定手段と、
前記抽出手段により抽出される第２の特徴マップと、前記推定手段により推定される境界とに基づいて、前記撮像画像における前記変化領域を検出する検出手段と
を有することを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
特徴マップに基づいて、前記撮像画像における前記所定の状態からの変化の度合いを示す変化度を取得する取得手段を有し、
前記推定手段は、前記撮像画像において、前記取得手段により取得される前記第１の特徴マップに基づく変化度が閾値よりも大きい位置を、前記境界として推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記撮像画像において前記境界により分割される分割領域のうち、前記取得手段により取得される前記第２の特徴マップに基づく変化度が閾値よりも大きい位置を含む分割領域を、前記変化領域として検出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、
前記分割領域において前記境界の位置とは異なる位置を代表点として特定し、
前記代表点における変化度が閾値よりも大きい代表点を含む分割領域を、前記変化領域として検出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記取得手段は、前記所定の状態である撮像領域が撮像された撮像画像に基づいて前記ニューラルネットワークに基づいて抽出される特徴マップと、前記第１の特徴マップまたは前記第２の特徴マップと、に基づいて算出されるマハラノビス距離を用いて前記変化度を取得することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段により検出される変化領域の大きさが閾値よりも大きい場合に、他の装置に対し、前記撮像領域の変化を通知するための情報を出力する出力手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記変化領域の大きさは、前記撮像画像に対して前記検出手段により検出される前記変化領域の画素数で表されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記変化領域の大きさは、前記撮像画像において前記検出手段により前記変化領域の検出処理が実行される所定の領域の画素数に対する前記変化領域の画素数で表されることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記撮像画像は、動画における画像フレームであることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第１の特徴抽出層および前記第２の特徴抽出層は、プーリング層であることを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像領域における変化を検知する技術に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
監視カメラ等の撮像装置が撮像領域を撮像することにより得られる撮像画像を解析する技術のひとつに、畳み込みニューラルネットワーク等の機械学習（深層学習）モデルを使用して、撮像領域が基準の状態から変化した領域（変化領域）を検出する技術がある。この技術においては、画像の特徴量を抽出する複数の特徴抽出層を有する畳み込みニューラルネットワークを用いて、画像の特徴量から変化領域を検出することができる。
【０００３】
畳み込みニューラルネットワークによって抽出される特徴量を用いた変化領域の検出の性質として、入力に近い層の特徴量を用いると、変化領域のエッジを検知しやすい一方で、変化領域の内部が検出されない中抜けが発生する場合がある。また、入力から遠い層の特徴量を用いると、変化領域の大まかな位置が検出され、中抜けが発生しにくい一方で。変化領域のエッジがあいまいとなり、実際の変化領域よりも大きい領域が検出される場合がある。このように、畳み込みニューラルネットワークによって抽出される特徴量を用いた変化領域の検出では、いずれの層から抽出される特徴量を使用するかによって一長一短があり、変化領域を精度よく検出することができないという課題がある。
【０００４】
特許文献１には、基準となる良品画像から変化した領域を、異常領域として検出する方法について記載されている。特許文献１には、畳み込みニューラルネットワークにおける複数の層から得られる特徴量を重み付き加算することにより、異常領域を精度よく検出することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
特開２０２３－３０３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の方法では、ユーザが特徴量を重み付き加算するために、複数の重みパラメータを設定する必要がある。しかしながら、複数の重みパラメータの設定は複雑であり、ユーザが適切に設定することは困難であった。
【０００７】
本発明は上記の課題に鑑みてなされたものである。その目的は、複雑な設定を行うことなく、撮像領域における変化領域を精度よく検出できるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、撮像領域が撮像された撮像画像を取得する画像取得手段と、前記画像取得手段により取得される撮像画像をニューラルネットワークの入力層に入力することにより、前記ニューラルネットワークにおける第１の特徴抽出層から出力される第１の特徴マップと、前記第１の特徴抽出層よりも前記入力層から遠い第２の特徴抽出層から出力される第２の特徴マップと、を抽出する抽出手段と、前記抽出手段により抽出される第１の特徴マップに基づいて、前記撮像画像において前記撮像領域が所定の状態から変化した変化領域と前記変化領域でない領域との境界を推定する推定手段と、前記抽出手段により抽出される第２の特徴マップと、前記推定手段により推定される境界とに基づいて、前記撮像画像における前記変化領域を検出する検出手段とを有する。
【発明の効果】
【０００９】
本発明によれば、複雑な設定を行うことなく、撮像領域における変化領域を精度よく検出することができる。
【図面の簡単な説明】
【００１０】
画像処理システムにおける処理を説明するための図である。
画像処理システムの構成を説明するための図である。
画像処理システムにおける各装置のハードウェア構成を説明するための図である。
画像処理システムにおける各装置の機能構成を説明するための図である。
検出部の構成を説明するための図である。
ニューラルネットワークの構成および特徴マップについて説明するための図である。
検出部が行う処理の一例を説明するための図である。
検出部が行う処理の一例を説明するための図である。
検出部が行う処理の一例を説明するための図である。
検出部が行う処理の一例を説明するための図である。
閾値の設定処理を説明するためのフローチャートである。
ユーザに撮像領域の変化を通知する処理を説明するためのフローチャートである。
ユーザに提示される表示の一例を説明するための図である。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許