特許ウォッチ

公開番号2025119169
公報種別公開特許公報(A)
公開日2025-08-14
出願番号2024013886
出願日2024-02-01
発明の名称撮像装置、および撮像プログラム
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.
代理人IBC一番町弁理士法人
主分類H04N 23/60 20230101AFI20250806BHJP(電気通信技術)
要約【課題】被写体がどの方向に動いても、背景光の影響が除去されたアーティファクトのない高解像度の撮影画像が得られる撮像装置を提供する。
【解決手段】発光部の点灯と消灯に同期して露光することで、点灯時に露光された点灯時露光フレーム画像と、消灯時に露光された消灯時露光フレーム画像を撮像し、2つの点灯時露光フレーム画像、または2つの消灯時光フレーム画像から各画素の移動ベクトルを算出し、処理の対象の点灯時露光フレーム画像と、処理に用いる消灯時光フレーム画像との時間差に応じて、各画素の移動ベクトルの長さを調整し、調整後の移動ベクトルに基づいて、処理に用いる消灯時露光フレーム画像の各画素を補正することで仮想消灯時露光フレーム画像を算出し、仮想消灯時露光フレーム画像を、処理の対象の点灯時露光フレーム画像から差し引く処理をする、撮像装置。
【選択図】図5
特許請求の範囲【請求項１】
被写体に光を照射する発光部の点灯および消灯に同期して露光することにより、点灯時に露光された点灯時露光フレーム画像と、消灯時に露光された消灯時露光フレーム画像を撮像する撮像部と、
２つの前記点灯時露光フレーム画像、または２つの前記消灯時露光フレーム画像から各画素の移動ベクトルを算出する移動ベクトル算出部と、
処理の対象の前記点灯時露光フレーム画像と、前記処理に用いる前記消灯時露光フレーム画像との時間差に応じて、各画素の前記移動ベクトルの長さを調整する、移動ベクトル長さ調整部と、
調整後の各画素の前記移動ベクトルに基づいて、前記処理に用いる前記消灯時露光フレーム画像の各画素を補正することにより、前記処理の対象の前記点灯時露光フレーム画像の露光時に前記発光部が消灯していれば撮像されると推定される仮想消灯時露光フレーム画像を算出する消灯時露光フレーム画像補正部と、
算出された前記仮想消灯時露光フレーム画像を、前記処理の対象の前記点灯時露光フレーム画像から差し引く前記処理をする点灯時露光フレーム画像処理部と、を有する撮像装置。
続きを表示（約 3,800 文字）【請求項２】
前記移動ベクトル算出部は、前記点灯時露光フレーム画像、前記消灯時露光フレーム画像、および前記点灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１点灯時露光フレーム画像、第１消灯時露光フレーム画像、および第２点灯時露光フレーム画像としたときに、前記第１点灯時露光フレーム画像および前記第２点灯時露光フレーム画像から前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１点灯時露光フレーム画像と前記第２点灯時露光フレーム画像との時間差と、前記第１点灯時露光フレーム画像と前記第１消灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第１消灯時露光フレーム画像の各画素を、前記移動ベクトルとは逆方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第１点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項３】
前記移動ベクトル算出部は、前記点灯時露光フレーム画像、前記消灯時露光フレーム画像、および前記点灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１点灯時露光フレーム画像、第１消灯時露光フレーム画像、および第２点灯時露光フレーム画像としたときに、前記第１点灯時露光フレーム画像および前記第２点灯時露光フレーム画像から各画素の前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１点灯時露光フレーム画像と前記第２点灯時露光フレーム画像との時間差と、前記第１消灯時露光フレーム画像と前記第２点灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第１消灯時露光フレーム画像の各画素を、前記移動ベクトルと同方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第２点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項４】
前記移動ベクトル算出部は、前記消灯時露光フレーム画像、前記点灯時露光フレーム画像、および前記消灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１消灯時露光フレーム画像、第１点灯時露光フレーム画像、および第２消灯時露光フレーム画像としたときに、前記第１消灯時露光フレーム画像および前記第２消灯時露光フレーム画像から前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１消灯時露光フレーム画像と前記第２消灯時露光フレーム画像との時間差と、前記第１消灯時露光フレーム画像と前記第１点灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第１消灯時露光フレーム画像の各画素を、前記移動ベクトルと同方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第１点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項５】
前記移動ベクトル算出部は、前記消灯時露光フレーム画像、前記点灯時露光フレーム画像、および前記消灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１消灯時露光フレーム画像、第１点灯時露光フレーム画像、および第２消灯時露光フレーム画像としたときに、前記第１消灯時露光フレーム画像および前記第２消灯時露光フレーム画像から前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１消灯時露光フレーム画像と前記第２消灯時露光フレーム画像との時間差と、前記第１点灯時露光フレーム画像と前記第２消灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第２消灯時露光フレーム画像の各画素を、前記移動ベクトルとは逆方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第１点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項６】
前記移動ベクトル長さ調整部は、
前記移動ベクトルの長さが所定の閾値以下の画素を、前記移動ベクトルの長さを調整しない特定画素に設定し、
各画素の前記移動ベクトルの平均を算出し、前記移動ベクトルの平均の長さを、前記処理の対象の前記点灯時露光フレーム画像と、前記処理に用いる前記消灯時露光フレーム画像との時間差に応じて調整し、調整後の前記平均に基づいて、前記処理に用いる前記消灯時露光フレーム画像の前記特定画素以外の各画素を補正する、請求項１に記載の撮像装置。
【請求項７】
前記移動ベクトル算出部は、
前記移動ベクトルの算出に用いる、前記点灯時露光フレーム画像、または２つの前記消灯時露光フレーム画像から顔領域を検出し、
検出された前記顔領域内の各画素の前記移動ベクトルを算出する、請求項１に記載の撮像装置。
【請求項８】
算出された前記仮想消灯時露光フレーム画像に複数種類のローパスフィルタを用いてそれぞれフィルタリングすることにより、フィルタリング後の前記仮想消灯時露光フレーム画像を複数算出するローパスフィルタ部をさらに有し、
前記点灯時露光フレーム画像処理部は、
算出された前記フィルタリング後の前記仮想消灯時露光フレーム画像と、フィルタリング前の前記仮想消灯時露光フレーム画像との差分の標準偏差が最も小さい前記フィルタリング後の前記仮想消灯時露光フレーム画像を、前記処理の対象の前記点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項９】
前記移動ベクトル算出部は、前記点灯時露光フレーム画像、前記点灯時露光フレーム画像、および前記消灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１点灯時露光フレーム画像、第２点灯時露光フレーム画像、および第１消灯時露光フレーム画像としたときに、前記第１点灯時露光フレーム画像および前記第２点灯時露光フレーム画像から前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１点灯時露光フレーム画像と前記第２点灯時露光フレーム画像との時間差と、前記第２点灯時露光フレーム画像と前記第１消灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第１消灯時露光フレーム画像の各画素を、前記移動ベクトルとは逆方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第２点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
【請求項１０】
前記移動ベクトル算出部は、前記消灯時露光フレーム画像、前記点灯時露光フレーム画像、および前記点灯時露光フレーム画像の順序で撮像されるフレーム画像を、それぞれ第１消灯時露光フレーム画像、第１点灯時露光フレーム画像、および第２点灯時露光フレーム画像としたときに、前記第１点灯時露光フレーム画像および前記第２点灯時露光フレーム画像から前記移動ベクトルを算出し、
前記移動ベクトル長さ調整部は、前記第１点灯時露光フレーム画像と前記第２点灯時露光フレーム画像との時間差と、前記第１消灯時露光フレーム画像と前記第１点灯時露光フレーム画像との時間差との比に応じて、各画素の前記移動ベクトルの長さを調整し、
前記消灯時露光フレーム画像補正部は、前記第１消灯時露光フレーム画像の各画素を、前記移動ベクトルと同方向に、長さの調整後の前記移動ベクトルの長さ分シフトさせる補正をすることにより、前記仮想消灯時露光フレーム画像を算出し、
前記点灯時露光フレーム画像処理部は、算出された前記仮想消灯時露光フレーム画像を、前記第１点灯時露光フレーム画像から差し引く前記処理をする、請求項１に記載の撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置、および撮像プログラムに関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
ＩｎＣａｂｉｎＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍは、車内でのドライバーの様子を監視するシステムである。このシステムにおいては、取得される赤外線画像の背景光（外光）による影響を取り除くため、撮影領域を照射するＬＥＤを点灯させたときの画像と消灯させたときの画像との差分画像を算出する。そして、当該差分画像に基づいて、ドライバーの視線等を検出することで、居眠り運転等のドライバーの様子を検出する。
【０００３】
しかし、ドライバーやカメラが動くことにより、差分画像において、ドライバーの位置ずれ等に起因するアーティファクトが生じる。そして、アーティファクトが生じることにより、ドライバーの視線等の検出精度が低下する。
【０００４】
下記特許文献１には次の先行技術が記載されている。撮像対象物への非照明時に撮像した第１の画像と、撮像対象物への照明時に撮像した第２の画像と、の輝度の差分からなる差分画像を生成する。差分画像における、所定の輝度値以上の輝度を有する画素からなる画素領域を抽出する。抽出した画素領域に基づいて、第１の画像の撮像タイミングと第２の画像の撮像タイミングとの間での撮像対象物の移動量等を推定する。そして、推定した移動量等に基づいて、第１の画像と第２の画像のどちらかの画像中の被写体部分をずらしてから再び差分画像を作成する。これにより、被写体が多少動いても適切な被写体画像を得ることができ、認証制度を向上できる。
【先行技術文献】
【特許文献】
【０００５】
特許第４８４２３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記先行技術は、撮像対象物への照明時の画像と、非照明時の画像との差分画像から撮像対象物の移動量等を推定するため、移動量等の推定精度に限界があり、背景光の影響が除去された鮮明な画像を得られるとは限らないという問題がある。
【０００７】
本発明は上記問題を解決するためになされたものである。すなわち、本発明は、被写体がどの方向に動いても、背景光の影響が除去された、アーティファクトのない高解像度の撮影画像を得ることが可能な撮像装置、撮像方法、および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題は以下の手段によって解決される。
【０００９】
（１）被写体に光を照射する発光部の点灯および消灯に同期して露光することにより、点灯時に露光された点灯時露光フレーム画像と、消灯時に露光された消灯時露光フレーム画像を撮像する撮像部と、２つの前記点灯時露光フレーム画像、または２つの前記消灯時露光フレーム画像から各画素の移動ベクトルを算出する移動ベクトル算出部と、処理の対象の前記点灯時露光フレーム画像と、前記処理に用いる前記消灯時露光フレーム画像との時間差に応じて、各画素の前記移動ベクトルの長さを調整する、移動ベクトル長さ調整部と、調整後の各画素の前記移動ベクトルに基づいて、前記処理に用いる前記消灯時露光フレーム画像の各画素を補正することにより、前記処理の対象の前記点灯時露光フレーム画像の露光時に前記発光部が消灯していれば撮像されると推定される仮想消灯時露光フレーム画像を算出する消灯時露光フレーム画像補正部と、算出された前記仮想消灯時露光フレーム画像を、前記処理の対象の前記点灯時露光フレーム画像から差し引く前記処理をする点灯時露光フレーム画像処理部と、を有する撮像装置。
【００１０】
（２）被写体に光を照射する発光部の点灯および消灯に同期して露光することにより、点灯時に露光された点灯時露光フレーム画像と、消灯時に露光された消灯時露光フレーム画像を撮像する撮像ステップと、２つの前記点灯時露光フレーム画像、または２つの前記消灯時露光フレーム画像から各画素の移動ベクトルを算出する移動ベクトル算出ステップと、処理の対象の前記点灯時露光フレーム画像と、前記処理に用いる前記消灯時露光フレーム画像との時間差に応じて、各画素の前記移動ベクトルの長さを調整する、移動ベクトル長さ調整ステップと、調整後の各画素の前記移動ベクトルに基づいて、前記処理に用いる前記消灯時露光フレーム画像の各画素を補正することにより、前記処理の対象の前記点灯時露光フレーム画像の露光時に前記発光部が消灯していれば撮像されると推定される仮想消灯時露光フレーム画像を算出する消灯時露光フレーム画像補正ステップと、算出された前記仮想消灯時露光フレーム画像を、前記処理の対象の前記点灯時露光フレーム画像から差し引く前記処理をする点灯時露光フレーム画像処理ステップと、を有する処理をコンピューターに実行させるための撮像プログラム。
【発明の効果】
（【００１１】以降は省略されています）

関連特許