特許ウォッチ

公開番号2025102012
公報種別公開特許公報(A)
公開日2025-07-08
出願番号2023219164
出願日2023-12-26
発明の名称画像処理方法、画像処理装置、撮像装置、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 23/60 20230101AFI20250701BHJP(電気通信技術)
要約【課題】機械学習モデルを用いた画像推定処理における処理負荷を低減することが可能な画像処理方法を提供する。
【解決手段】画像処理方法は、第1画像における注目領域を決定する工程(S104)と、第1画像の複数の部分画像のうち一部のみに対応する一つ以上の第2画像を取得する工程(S105)と、第2画像を機械学習モデルに入力し、第2画像に対応する第3画像を生成する工程(S106)と、第3画像と注目領域とに基づいた処理によって第4画像を生成する工程(S110)とを有し、第2画像は、注目領域の少なくとも一部を含む。
【選択図】図3
特許請求の範囲【請求項１】
第１画像における注目領域を決定する工程と、
前記第１画像の複数の部分画像のうち一部のみに対応する一つ以上の第２画像を取得する工程と、
前記第２画像を機械学習モデルに入力し、該第２画像に対応する第３画像を生成する工程と、
前記第３画像と前記注目領域とに基づいた処理によって第４画像を生成する工程とを有し、
前記第２画像は、前記注目領域の少なくとも一部を含むことを特徴とする画像処理方法。
続きを表示（約 1,200 文字）【請求項２】
前記注目領域は、前記第１画像に対応する距離に関する情報、意味的領域分割情報、クロップ情報、イメージサークル情報、または光学性能のうち少なくとも一つに基づいて決定されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記注目領域は、前記第１画像のコンテンツ、変更可能な画像処理設定、または変更可能な撮像設定のうち少なくとも一つに基づいて決定されることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記距離に関する前記情報は、ピントマップであることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記複数の部分画像は、前記第１画像を等分割で分割することで取得されることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記第４画像は、前記第３画像のうち前記注目領域に含まれる領域のみに基づく画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項７】
前記第３画像または前記第４画像は、前記注目領域に含まれない領域に対する前記機械学習モデルによる処理の強度が、前記注目領域に含まれる領域に対する前記機械学習モデルによる処理の強度よりも小さくなるように処理することで生成されることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項８】
前記第２画像は、前記注目領域を含む第１領域と該注目領域を含まない第２領域とを有し、
前記第３画像のうち前記第１領域に対応する領域に対して、前記機械学習モデルによる処理の強度を第１強度に設定し、
前記第３画像のうち前記第２領域に対応する領域に対して、前記処理の強度を前記第１強度よりも小さい第２強度に設定し、
前記第４画像は、前記第３画像のうち前記第１強度に設定された領域と前記第２強度に設定された領域とを用いて生成されることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項９】
前記第４画像は、前記第１画像に対して、鮮鋭化、高解像度化、またはデフォーカスぼけ変換のうち少なくとも一つが適用された画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項１０】
第１画像における注目領域を決定する決定手段と、
前記第１画像の複数の部分画像のうち一部のみに対応する一つ以上の第２画像を取得する第１取得手段と、
前記第２画像を機械学習モデルに入力し、該第２画像に対応する第３画像を生成する第１生成手段と、
前記第３画像と前記注目領域とに基づいた処理によって第４画像を生成する第２生成手段とを有し、
前記第２画像は、前記注目領域の少なくとも一部を含むことを特徴とする画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、撮像装置、およびプログラムに関する。
続きを表示（約 1,100 文字）【背景技術】
【０００２】
従来、機械学習モデルを用いた画像推定処理において、入力画像から複数の分割画像を取得し、分割画像ごとに画像推定処理を行うことで使用メモリ量を低減する方法が知られている。特許文献１には、入力画像を分割して処理を行ってデフォーカス像を補正する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－２１２１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、入力画像のうち特定の領域のみを画像推定処理の注目領域としたい場合がある。しかし特許文献１に開示された方法では、注目領域以外の領域を含む全ての領域に対して画像推定処理を行うため、処理負荷が大きい。
【０００５】
そこで本発明は、機械学習モデルを用いた画像推定処理における処理負荷を低減することが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理方法は、第１画像における注目領域を決定する工程と、前記第１画像の複数の部分画像のうち一部のみに対応する一つ以上の第２画像を取得する工程と、前記第２画像を機械学習モデルに入力し、該第２画像に対応する第３画像を生成する工程と、前記第３画像と前記注目領域とに基づいた処理によって第４画像を生成する工程とを有し、前記第２画像は、前記注目領域の少なくとも一部を含む。
【０００７】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００８】
本発明によれば、機械学習モデルを用いた画像推定処理における処理負荷を低減することが可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【０００９】
各実施例における撮像装置のブロック図である。
実施例１における画像処理を示すフローチャートである。
実施例１における注目領域と入力分割画像との関係を示す図である。
実施例２における画像処理を示すフローチャートである。
実施例２における注目領域と入力分割画像との関係を示す図である。
各実施例における撮像素子の受光部と撮像光学系の瞳との関係の説明図である。
各実施例における撮像素子の受光部と被写体との関係の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
（【００１１】以降は省略されています）

関連特許