特許ウォッチ

公開番号2025126807
公報種別公開特許公報(A)
公開日2025-08-29
出願番号2024023223
出願日2024-02-19
発明の名称撮像装置
出願人日本放送協会
代理人個人,個人,個人,個人
主分類H04N 19/85 20140101AFI20250822BHJP(電気通信技術)
要約【課題】画像を再構成する際に、再構成処理におけるメモリー使用量を抑制し、且つ、画像の再構成処理を高速化する撮像装置を提供する。
【解決手段】撮像装置は、被写体像を一方向に符号化する符号化パターンで複数回変調し、複数の符号化像を生成する符号化部と、複数の前記符号化像を1度の露光で取得し、符号化撮影画像を生成する撮像部と、前記符号化撮影画像及び前記符号化パターンに基づいて、複数の前記被写体像を再構成する再構成処理部と、を備え、前記再構成処理部は、前記符号化撮影画像の二次元行列と、前記符号化パターンの前記一方向の符号化情報を対角上に配列した符号化パターン行列と、再構成画像を周波数成分で表した二次元行列を用いて、最適化問題を解くことで、前記再構成画像を求めることを特徴とする。
【選択図】図1
特許請求の範囲【請求項１】
被写体像を一方向に符号化する符号化パターンで複数回変調し、複数の符号化像を生成する符号化部と、
複数の前記符号化像を１度の露光で取得し、符号化撮影画像を生成する撮像部と、
前記符号化撮影画像及び前記符号化パターンに基づいて、複数の前記被写体像を再構成する再構成処理部と、
を備え、
前記再構成処理部は、前記符号化撮影画像の二次元行列と、前記符号化パターンの前記一方向の符号化情報を対角上に配列した符号化パターン行列と、再構成画像を周波数成分で表した二次元行列を用いて、最適化問題を解くことで、前記再構成画像を求めることを特徴とする、撮像装置。
続きを表示（約 1,500 文字）【請求項２】
被写体像を光学的に複製する複製部と、
前記被写体像を縦方向に符号化する符号化パターンで複数回変調し、複数の縦方向符号化像を生成する第１符号化部と、
前記被写体像を横方向に符号化する符号化パターンで複数回変調し、複数の横方向符号化像を生成する第２符号化部と、
複数の前記縦方向符号化像を１度の露光で取得し、符号化撮影画像を生成する第１撮像部と、
複数の前記横方向符号化像を１度の露光で取得し、符号化撮影画像を生成する第２撮像部と、
前記第１撮像部と前記第２撮像部で生成された前記符号化撮影画像及び前記符号化パターンに基づいて、複数の前記被写体像を再構成する再構成処理部と、
を備え、
前記再構成処理部は、前記符号化撮影画像の二次元行列と、前記符号化パターンの縦方向又は横方向の符号化情報を対角上に配列した符号化パターン行列と、再構成画像を周波数成分で表した二次元行列を用いて、縦方向の符号化情報に基づく縦方向最適化問題と横方向の符号化情報に基づく横方向最適化問題をそれぞれ設定し、前記縦方向最適化問題と前記横方向最適化問題を解くことで、前記再構成画像を求めることを特徴とする、撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記再構成処理部は、前記縦方向最適化問題に対して１ループ分処理して求まる更新パラメーターを前記横方向最適化問題に渡し、前記横方向最適化問題に対して１ループ分処理して求まる更新パラメーターを前記縦方向最適化問題に渡すことを、交互に１回ないし複数回繰り返して前記再構成画像を求めることを特徴とする、撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記再構成処理部は、前記縦方向最適化問題に対して複数回ループを回して求まる更新パラメーターを前記横方向最適化問題に渡し、前記横方向最適化問題に対して複数回ループ処理を実行し、得られた更新パラメーターを再度縦方向最適化問題に渡すことを１回ないし複数回繰り返して前記再構成画像を求めることを特徴とする、撮像装置。
【請求項５】
被写体像を光学的に複製する複製部と、
前記被写体像を一方向に符号化する符号化パターンで複数回変調し、複数の符号化像を生成する第３符号化部と、
前記被写体像を前記一方向に符号化する別の符号化パターンで複数回変調し、複数の符号化像を生成する第４符号化部と、
前記第３符号化部で生成した複数の前記符号化像を１度の露光で取得し、符号化撮影画像を生成する第３撮像部と、
前記第４符号化部で生成した複数の前記符号化像を１度の露光で取得し、符号化撮影画像を生成する第４撮像部と、
前記第３撮像部と前記第４撮像部で生成された前記符号化撮影画像、及び前記符号化パターン及び前記別の符号化パターンに基づいて、複数の前記被写体像を再構成する再構成処理部と、
を備え、
前記再構成処理部は、前記符号化撮影画像の二次元行列と、前記符号化パターンの符号化情報を対角上に配列した行列と前記別の符号化パターンの符号化情報を対角上に配列した行列とを列方向に重ねた符号化パターン行列と、再構成画像を周波数成分で表した二次元行列を用いて、最適化問題を解くことで、再構成画像を求めることを特徴とする、撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記符号化パターンと前記別の符号化パターンは、互いに相補的なパターンであることを特徴とする、撮像装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は撮像装置に関し、特に、符号化パターンを利用した撮像装置に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
カメラのフレームレート以上の動画を取得する手法の１つとして、符号化開口を用いた高フレームレート動画撮影技術の開発が進んでいる。この技術では、被写体とカメラの間に符号化パターンを挿入し、光学像に符号化パターンを重畳して被写体を撮影する。カメラ１回の露光中に符号化パターンを一定時間ごとにｉ回変化させて被写体像を変調し、ｉ枚の符号化された像（以下「符号化像」という。）を１回の露光で撮影して符号化像を重ねた画像（以下「符号化撮影画像」という。）を取得する。１枚の符号化撮影画像とｉ枚の符号化パターンから計算機で再構成処理することで、１枚の符号化撮影画像からｉ枚の画像を時間軸に沿って復元でき、カメラのフレームレート以上の動画を取得することができる。
【０００３】
前述の再構成処理において、逆問題Ｙ＝ＡＸを解くことが行われている。カメラで取得した画像をＹ、符号化パターンを用いて表される高フレームレートファクターをＡとし、光学系に即した方程式Ｙ＝ＡＸを解くことでｉ枚分の画像（又は画像成分）Ｘを得ることができ、高フレームレート化が行える。この方程式の条件式数は未知数未満であるため、計算には圧縮センシングが用いられている。
【０００４】
圧縮センシングとは、一般に連立方程式において未知数を求めるためには未知数の個数以上の条件式が必要である一方で、未知数がスパース（疎）である場合、条件式が未知数の個数以下の場合でも未知数を推定することができる手法であり、ＬＡＳＳＯ（Least Absolute Shrinkage and Selection Operators）と呼ばれる最適化問題を解くことでｉ枚分の画像Ｘを求めることができる。画像の場合、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）などの、情報量が圧縮できる基底を用い、周波数成分に変換することで高周波成分を０とみなせることから、未知数にスパース性をもたせることができる。圧縮センシングのアルゴリズムにはＩＳＴＡ（Iterative Shrinkage soft-Thresholding Algorithm），ＦＩＳＴＡ（Fast Iterative Shrinkage soft-Thresholding Algorithm），ＡＤＭＭ（Alternating Direction Method of Multipliers）などが知らており、これらに由来した処理方法を用いることで再構成計算を行うことができる。
【０００５】
再構成処理に圧縮センシングを用いて得られたスパースな解に対して、逆ＤＣＴ、逆ＤＷＴ、逆ＤＦＴ等を行うことで、時間軸に沿ったｉ枚分の画像を再構成できる。
【０００６】
従来、再構成画像の画質向上に向けて、重畳する符号化パターンと圧縮センシングのアルゴリズムについて、様々な試みがなされている。例えば、非特許文献１では、画素ごとにランダムなバイナリパターンで被写体を符号化している。図１７は、非特許文献１に記載の従来技術の撮像装置の構成例である。被写体からの光をレンズ１で集光し、符号化パターンマスク（符号化開口）２に結像する。符号化パターンマスク２は、例えばピエゾ素子（図示せず）により光軸に直交する方向に移動し、被写体の像に複数の符号化パターンを与える。符号化された像は、レンズ３によりカメラ４に結像する。演算処理装置５は、得られた符号化撮影画像と符号化パターンに基づいて、画像を再構成する。非特許文献１では、ＤＣＴ基底を用いたスパース推定を行っており、再構成処理ではアルゴリズムにＩＳＴＡより解の収束速度が高速なアルゴリズムであるＴｗＩＳＴ（Two-step Iterative-Shrinkage Thresholding）とさらなる高速化が見込めるＧＡＰ（Generalized Alternating Projection）を用いて画像を再構成している。再構成画像の画素サイズは２８１×２８１で１枚の低フレームレートの画像から、１４フレーム、１４８フレーム分の画像を再構成しており、ＧＡＰを用いた１４フレーム分の再構成に約１０秒時間がかかっている。
【０００７】
非特許文献２では、符号化パターンに関して画素ごとにランダムなバイナリパターンを時間方向にランダムに表示する場合と時間方向に同一パターンをシフトする場合で被写体を符号化し、再構成処理ではアルゴリズムにＦＩＳＴＡ、ＯＭＰ（Orthogonal Matching Pursuit）、ＣＬＳ（Constrained Least Squares）、ＧＡＰを用いて画像を再構成している。再構成画像の画素サイズは２５６×２５６で１枚の低フレームレートの画像から、３６フレーム分の画像を再構成しており、再構成処理が最速なアルゴリズムはＣＬＳであり、再構成処理に約５０秒時間がかかっている。
【０００８】
従来の再構成処理の概要について説明する。図１８は、符号化撮影画像Ｙから元の画像（複数の再構成画像Ｏ）を推定する従来の線形方程式を表す図である。二次元の画像（横ｍ画素×縦ｎ画素）を一次元信号にする（二次元画像の成分ａ
0,0
～ａ
m-1,n-1
を一列に配列する）と、１枚の符号化撮影画像Ｙは、ｍ×ｎ行１列の行列｛Y
1
,…,Y
m×n
｝となる。時間軸に沿った符号化パターン枚数分（ｉ枚）の被写体像（再構成画像）Ｏは、１フレームの再構成画像（ｍ×ｎ行１列の行列）をｉフレームまとめたものであるから、ｍ×ｎ×ｉ行１列の一次元信号である。そして、これはｍ×ｎ×ｉ行ｍ×ｎ×ｉ列のＤＣＴ基底Ｂと、ｍ×ｎ×ｉ行１列の再構成画像のＤＣＴ成分Ｘ＝{X
1
,…,X
m×n×i
}との積（Ｏ＝ＢＸ）で表される。
【０００９】
１つの符号化パターンは、各画素のうち有効（透過）画素を１、無効（非透過）画素を０として、全画素を一次元信号にしたものをｍ×ｎ行ｍ×ｎ列の行列の対角上に配列（対角成分以外は０）したブロックとなる。ｉ枚の符号化パターンＣは、このブロックを行方向にｉ個並べたものであり、ｍ×ｎ行ｍ×ｎ×ｉ列の行列となる。なお、符号化撮影画像Ｙと被写体の各フレームの最大階調値を一致させるため、右辺に対して符号化パターンの枚数ｉの逆数をかけている。
【００１０】
このように、ｉ枚の再構成画像Ｏ（画素数ｍ×ｎ）と、符号化撮影画像Ｙ（画素数ｍ×ｎ）との関係は、ＤＣＴ成分Ｘ、符号化撮影画像Ｙを一次元信号として取り扱うことにより、図１８に示す線形な行列の積Ｙ＝ＣＢＸで表現できる。この行列式は、方程式Ｙ＝ＡＸとみなすことができ、最適化問題を解くことでｉ枚分の画像のＤＣＴ成分Ｘを求めることができる。このＤＣＴ成分Ｘに対して逆ＤＣＴ変換を行い、被写体の画像Ｏを再構成することができる。
【先行技術文献】
【非特許文献】
（【００１１】以降は省略されています）

関連特許