特許ウォッチ

公開番号2025123428
公報種別公開特許公報(A)
公開日2025-08-22
出願番号2025102382,2023222383
出願日2025-06-18,2021-01-14
発明の名称学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類G06T 5/60 20240101AFI20250815BHJP(計算;計数)
要約【課題】ニューラルネットワークに入力する画像に高輝度な被写体や、光学系の収差により大きくぼけた被写体を含む場合でも、弊害が発生する可能性を低減しつつ高精度な補正を実現することが可能な学習データの製造方法等を提供する。
【解決手段】ニューラルネットワークの学習に用いる学習データの製造方法であって、原画像を取得する第1の取得工程と、原画像に対するぼけ付加により生成された訓練画像としての第1の画像を取得する第2の取得工程と、原画像に対するぼけ付加により生成された正解画像としての第2の画像を取得する第3の取得工程とを有し、第2の画像に付与されるぼけ量は第1の画像よりも小さい。
【選択図】図1
特許請求の範囲【請求項１】
ニューラルネットワークの学習に用いる学習データの生成方法であって、
原画像を取得する工程と、
前記原画像と第１のぼけに関する情報とに基づいて訓練画像を生成する工程と、
前記原画像と第２のぼけに関する情報とに基づいて正解画像を生成する工程とを有し、
前記第２のぼけに関する情報は前記第１のぼけに関する情報に基づいて生成されることを特徴とする生成方法。
続きを表示（約 940 文字）【請求項２】
前記第２のぼけに関する情報は、前記原画像における第１の輝度値の領域よりも、該第１の輝度値よりも低い第２の輝度値の領域において少ないぼけ量を示すことを特徴とする請求項１に記載の生成方法。
【請求項３】
前記第２のぼけに関する情報は、前記第１のぼけに関する情報に基づいて決定されることを特徴とする請求項１又は２に記載の生成方法。
【請求項４】
前記第１のぼけに関する情報は像高に応じて異なる複数の値であることを特徴とする請求項１乃至３のいずれか一項に記載の生成方法。
【請求項５】
前記複数の値は、光学伝達関数または点像分布関数に基づく値であることを特徴とする請求項４に記載の生成方法。
【請求項６】
前記第２のぼけに関する情報は、前記原画像の位置に応じて異なるぼけ量を示すことを特徴とする請求項１乃至５のいずれか一項に記載の生成方法。
【請求項７】
前記第２のぼけに関する情報は、前記原画像の第１の像高に対応する位置よりも、該第１の像高よりも高い第２の像高に対応する位置において多いぼけ量を示すことを特徴とする請求項６に記載の生成方法。
【請求項８】
前記第１のぼけに関する情報は、前記原画像の位置に応じて異なるぼけ量を示すことを特徴とする請求項１乃至７のいずれか一項に記載の生成方法。
【請求項９】
前記第１のぼけに関する情報は、前記原画像の第１の像高に対応する位置よりも、該第１の像高よりも高い第２の像高に対応する位置において少ないぼけ量を示すことを特徴とする請求項８に記載の生成方法。
【請求項１０】
請求項１乃至
９
のいずれか一項に記載の生成方法により生成された学習データを用いたニューラルネットワークの学習を行う学習方法であって、
前記訓練画像を前記ニューラルネットワークに入力することで処理画像を生成する工程と、
前記正解画像と前記処理画像とに基づいて前記ニューラルネットワークのパラメータを更新する工程とを有することを特徴とする学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ディープラーニングに用いる学習データの生成方法、およびディープラーニングを用いた学習方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
特許文献１には、ＲＡＷ画像を入力とする多層のニューラルネットワークを学習する際に、ガンマ補正の影響を考慮することで、高解像度化や高コントラスト化（鮮鋭化）に伴うアンダーシュートやリンギングを抑制する手法が開示されている。非特許文献１には、様々な回帰問題に対して汎用的に適用可能なネットワーク構成が開示されている。また非特許文献１には、ネットワークを用いて、入力画像のアップサンプリング、ＪＰＥＧデブロッキング（圧縮ノイズの除去）、デノイジング、ノンブラインドなデブラー、または、インペインティングを実行することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０１９－１２１２５２号公報
【非特許文献】
【０００４】
Ｘ．Ｍａｏ，Ｃ．Ｓｈｅｎ，Ｙ．Ｙａｎｇ， “ＩｍａｇｅＲｅｓｔｏｒａｔｉｏｎＵｓｉｎｇＣｏｎｖｏｌｕｔｉｏｎａｌＡｕｔｏ－ｅｎｃｏｄｅｒｓｗｉｔｈＳｙｍｍｅｔｒｉｃＳｋｉｐＣｏｎｎｅｃｔｉｏｎｓ”，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０６．０８９２１．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１および非特許文献１に開示された方法では、入力する画像によってはアンダーシュートやリンギング等を抑制できず、補正画像（推定画像）にこれらの弊害が生じることがある。具体的には、入力する画像に高輝度な被写体があった場合や、光学系の収差によって被写体が大きくぼけていた場合であり、特に被写体の輝度値が大きく輝度飽和している場合に弊害が発生しやすい。これらの画像を学習データとして用いた場合、補正量に伴うアンダーシュートやリンギング等の弊害が発生する可能性がある。
【０００６】
そこで本発明は、ニューラルネットワークに入力する画像に高輝度な被写体や、光学系の収差により大きくぼけた被写体を含む場合でも、弊害が発生する可能性を低減しつつ高精度な補正を実現することが可能な学習データの製造方法等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての学習データの生成方法は、ニューラルネットワークの学習に用いる学習データの生成方法であって、原画像を取得する工程と、前記原画像と第１のぼけに関する情報とに基づいて訓練画像を生成する工程と、前記原画像と第２のぼけに関する情報とに基づいて正解画像を生成する工程とを有し、前記第２のぼけに関する情報は前記第１のぼけに関する情報に基づいて生成される。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークに入力する画像に高輝度な被写体や、光学系の収差により大きくぼけた被写体を含む場合でも、弊害が発生する可能性を低減しつつ高精度な補正を実現することが可能な学習データの製造方法等を提供することができる。
【図面の簡単な説明】
【００１０】
実施例１における学習データの製造方法のフローチャートである。
実施例１及び３における画像処理システムのブロック図である。
実施例１及び３における画像処理システムの外観図である。
各実施例における光学情報に関する説明図である。
実施例及１及び３における補正マップに関する説明図である。
各実施例における学習工程のフローチャートである。
各実施例における畳み込みニューラルネットワークを示す図である。
各実施例における画像の色成分に関する説明図である。
実施例１及び２における推定工程のフローチャートである。
実施例２における画像処理システムのブロック図である。
実施例２における画像処理システムの外観図である。
実施例２における学習データの製造方法のフローチャートである。
実施例２における補正マップに関する説明図である。
実施例３における学習データの製造方法のフローチャートである。
実施例３における光学性能とぼかし量の説明図である。
実施例３における推定工程のフローチャートである。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許