特許ウォッチ

公開番号2025120764
公報種別公開特許公報(A)
公開日2025-08-18
出願番号2024015840
出願日2024-02-05
発明の名称画像処理装置および画像処理方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類H04N 23/60 20230101AFI20250808BHJP(電気通信技術)
要約【課題】欠陥画素に関する処理における機械学習モデルの使用を柔軟に制御可能な画像処理装置および画像処理方法を提供すること。
【解決手段】画像データに、画像データの撮像に用いられた撮像素子に含まれる欠陥画素に起因する影響を抑制するための傷処理を実行する画像処理装置である。画像処理装置は、機械学習モデルを用いない傷処理を適用可能な第1傷処理部と、機械学習モデルを用いて傷処理を適用可能な第2傷処理部とを有する。画像処理装置は、傷処理を第1傷処理手部と第2傷処理部の一方で実行するか、両方で分担して実行するかを制御する。
【選択図】図2
特許請求の範囲【請求項１】
画像データに、前記画像データの撮像に用いられた撮像素子に含まれる欠陥画素に起因する影響を抑制するための傷処理を実行する画像処理装置であって、
機械学習モデルを用いずに前記傷処理を適用可能な第１傷処理手段と、
機械学習モデルを用いて前記傷処理を適用可能な第２傷処理手段と、
前記第１傷処理手段と前記第２傷処理手段の動作を制御する制御手段とを有し、
前記制御手段は、前記傷処理を前記第１傷処理手段と前記第２傷処理手段の一方で実行するか、両方で分担して実行するかを制御する、ことを特徴とする画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記傷処理は、欠陥画素の検出に関する処理と、検出された欠陥画素の信号の補正に関する処理とを含み、
前記制御手段は、前記傷処理を前記第１傷処理手段と前記第２傷処理手段の両方で分担して実行する場合、前記検出に関する処理と、前記補正に関する処理とを前記第１傷処理手段と前記第２傷処理手段の両方で分担して実行するように制御する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記検出に関する処理を前記第１傷処理手段で実行し、前記補正に関する処理を前記第２傷処理手段で実行するように、前記第１傷処理手段と前記第２傷処理手段の動作を制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出に関する処理が、前記撮像素子の製造工程で生じた第１タイプの欠陥画素の検出に関する処理と、前記撮像素子の製造後に発生した第２タイプの欠陥画素の検出に関する処理とを含み、
前記制御手段は、前記第１タイプの欠陥画素の検出に関する処理を前記第１傷処理手段で実行し、前記第２タイプの欠陥画素の検出に関する処理と前記補正に関する処理を前記第２傷処理手段で実行するように、前記第１傷処理手段と前記第２傷処理手段の動作を制御することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記検出に関する処理が、前記撮像素子の製造工程で生じた第１タイプの欠陥画素の検出に関する処理と、前記撮像素子の製造後に発生した第２タイプの欠陥画素の検出に関する処理とを含み、
前記制御手段は、予め記憶されている前記第１タイプの欠陥画素に関する情報に基づいて前記第１タイプの欠陥画素の検出に関する処理を実行するように、前記第１傷処理手段と前記第２傷処理手段との一方の動作を制御する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記検出に関する処理が、前記撮像素子の製造工程で生じた第１タイプの欠陥画素の検出に関する処理と、前記撮像素子の製造後に発生した第２タイプの欠陥画素の検出に関する処理とを含み、
前記制御手段は、前記傷処理を前記第２傷処理手段で実行する場合、予め記憶されている前記第１タイプの欠陥画素に関する情報に基づいて前記第１タイプの欠陥画素の検出に関する処理を実行し、前記第２タイプの欠陥画素の検出に関する処理と、前記補正に関する処理とを前記機械学習モデルを用いて実行するように、前記第２傷処理手段の動作を制御する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記検出に関する処理が、前記撮像素子の製造工程で生じた第１タイプの欠陥画素の検出に関する処理と、前記撮像素子の製造後に発生した第２タイプの欠陥画素の検出に関する処理とを含み、
前記制御手段は、前記傷処理を前記第２傷処理手段で実行する場合、前記第１タイプの欠陥画素の検出に関する処理、前記第２タイプの欠陥画素の検出に関する処理、および前記補正に関する処理を前記機械学習モデルを用いて実行するように、前記第２傷処理手段の動作を制御する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記制御手段は、前記画像データの撮影シーンまたは撮像時における撮影モードに応じて、前記傷処理に前記第２傷処理手段を用いるか否かを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記制御手段は、前記画像処理装置の電池残量が閾値以下の場合は前記傷処理に前記第２傷処理手段を用いないことを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記制御手段は、前記画像処理装置の温度が閾値以上の場合、あるいは前記画像データの撮像時のシャッタースピードが閾値以上の場合は、前記傷処理に前記第２傷処理手段を用いることを決定することを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特には欠陥画素補正技術に関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
現在、デジタルカメラに用いられる撮像素子には１千万以上の画素が形成されているのが一般的である。そのため、撮像素子が有する画素には、製造誤差などに起因して、出力が異常な画素（不良画素または欠陥画素）が含まれうる。また、欠陥画素は製造後に放射線などに起因して発生する場合もある。
【０００３】
特許文献１には、製造後に発生した欠陥画素を機械学習モデルを用いて推定し、推定された欠陥画素を周辺の正常画素の信号から補正することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２１－１２２１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、機械学習モデルの利用は多くの演算を必要とするため、機械学習モデルを常時使用する構成は処理時間や消費電力の面で不利である。そのため、欠陥画素に関する処理における機械学習モデルの使用を柔軟に制御できるようにすることが望まれる。
【０００６】
このような従来技術の課題に鑑み、本発明はその一実施形態において、欠陥画素に関する処理における機械学習モデルの使用を柔軟に制御可能な画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本発明はその一態様において、画像データに、画像データの撮像に用いられた撮像素子に含まれる欠陥画素に起因する影響を抑制するための傷処理を実行する画像処理装置であって、機械学習モデルを用いずに傷処理を適用可能な第１傷処理手段と、機械学習モデルを用いて傷処理を適用可能な第２傷処理手段と、第１傷処理手段と第２傷処理手段の動作を制御する制御手段とを有し、制御手段は、傷処理を第１傷処理手段と第２傷処理手段の一方で実行するか、両方で分担して実行するかを制御する、ことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、欠陥画素に関する処理における機械学習モデルの使用を柔軟に制御可能な画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図
実施形態において制御部が２つの傷処理部に割り当てる処理の例を示す図
実施形態における傷処理の動作の例を説明するための図
実施形態における傷処理の動作の別の例を説明するための図
実施形態における傷処理の動作の別の例を説明するための図
実施形態における傷処理の動作の別の例を説明するための図
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
（【００１１】以降は省略されています）

関連特許