発明の詳細な説明【技術分野】 【０００１】 本発明は、機械学習を用いて画像の高解像度化を行う画像処理装置、および、その学習方法に関する。 続きを表示（約 2,300 文字）【背景技術】 【０００２】 従来、画像の解像度を向上させる手法として、バイリニア補間などを用いて画像を拡大する方法が一般に用いられてきた。しかしながら、このような単純な数値データの補間手法を画像に対して適用すると、拡大した画像がぼけてしまい、鮮鋭度が低くなるといった問題があった。このような問題を解決するために、近年では機械学習を用いた超解像処理を行う方法が提案されている。特にディープラーニングを用いたニューラルネットワークによる超解像処理によって著しく画質が向上した（非特許文献１参照）。また、動画像においては隣接したフレームの画像を利用することによって更に画質を向上させる方法が提案されている（非特許文献２）。 【先行技術文献】 【非特許文献】 【０００３】 Dongら. Image Super-Resolution Using Deep Convolutional Networks. Proceedings of the European Conference on Computer Vision, 2014 Caballeroら. Realtime video super-resolution with spatio-temporal networks and motion compensation. IEEE Conference on Computer Vision and Pattern Recognition, 2017 Shiら. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network. Proceedings of the European Conference on Computer Vision, 2016 Xieら. Image Denoising and Inpainting with Deep Neural Network. Conference on Neural Information Processing Systems, 2012 【発明の概要】 【発明が解決しようとする課題】 【０００４】 非特許文献２で提案されている方法では、動画像の各フレームにおいて対象とする単一フレームの超解像処理を行った画像を出力するようにしている。そのため、処理結果から時系列画像を再構成すると、元の動画像の動きが保証されず、動きが不自然に再現される可能性がある。また、隣接したフレームの画像を利用する際に、フレーム間の動きを推定して補償する必要があるといった課題もある。 【０００５】 本発明の目的は、前記問題点を解決すべく、動画像の高解像度化を行う画像処理装置において、元の動画像の動きを自然に再現する画像処理装置、および、その学習方法を提供することである。 【課題を解決するための手段】 【０００６】 上記目的を達成するために、本発明の画像処理装置の学習方法は以下の構成を備える。 【０００７】 すなわち、本発明の画像処理装置の学習方法は、画像処理手段と、時系列画像から複数の元画像と前記複数の元画像に夫々対応する目標画像、および、前記目標画像のうちの二枚の画像間の動き情報を学習データとして取得する手段と、前記学習データ取得手段で取得した複数の元画像の少なくとも一枚の画像を前記画像処理手段に入力して得られる推定画像と前記入力画像に対応する目標画像から第一の誤差を算出する手段と、前記学習データ取得手段から第一および第二の元画像を取得して夫々を前記画像処理手段に入力して得られる第一および第二の推定画像間の動き情報を推定する手段と、前記推定した動き情報と前記学習データ取得手段で取得した前記第一および第二の元画像に夫々対応する目標画像間の動き情報から第二の誤差を算出する手段と、前記第一の誤差算出手段で求めた誤差と前記第二の誤差算出手段で求めた誤差とを損失関数として前記画像処理手段のパラメータを学習する学習手段とを備える。 【発明の効果】 【０００８】 本発明によれば、画像処理装置における画像処理パラメータの学習において、画像処理手段の推定画像の誤差だけでなく動画像における複数フレーム間の動きの推定誤差も損失関数として学習を行うようにしたので、画像処理の結果から時系列画像を再構成した場合に元の動画像の動きを保証することができる。 【図面の簡単な説明】 【０００９】 本発明の実施形態に係る画像処理装置の処理および学習を行うためのシステム全体の機能構成を示す図である。 本発明の実施形態に係る画像処理装置の機能構成を示す図である。 本発明の実施形態に係る学習装置の機能構成を示す図である。 高解像度化処理を行う画像処理手段の構成例を示す図である。 画像処理装置の学習の処理の流れを示す図である。 画像処理装置の処理の流れを示す図である。 本発明の実施形態に係る画像処理装置の処理および学習を行うためのシステム全体のハードウェア構成を示す図である。 【発明を実施するための形態】 【００１０】 以下、本発明に係る実施形態について図面にもとづいて説明する。 （【００１１】以降は省略されています） この特許をJ-PlatPatで参照する
特許ウォッチ
