特許ウォッチ

公開番号2025118050
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2024013128
出願日2024-01-31
発明の名称撮像装置、制御方法、及びコンピュータプログラム
出願人キヤノン株式会社
代理人個人,個人,個人
主分類H04N 23/60 20230101AFI20250805BHJP(電気通信技術)
要約【課題】
データ処理負荷を軽減した撮像装置を提供する。
【解決手段】
撮像装置において、画像表示用の画像データを取得する画像用撮像素子と、所定の変化が発生した画像領域のデータを取得するイベントベース撮像素子と、前記イベントベース撮像素子で取得された前記データを処理して被写体情報を生成する被写体情報処理部と、を有し、前記被写体情報処理部は、前記被写体情報を、前記画像用撮像素子における蓄積期間の画像データと関連づけることを特徴とする。
【選択図】図3

特許請求の範囲【請求項１】
画像表示用の画像データを取得する画像用撮像素子と、
所定の変化が発生した画像領域のデータを取得するイベントベース撮像素子と、
前記イベントベース撮像素子で取得された前記データを処理して被写体情報を生成する被写体情報処理部と、を有し、
前記被写体情報処理部は、前記被写体情報を、前記画像用撮像素子における蓄積期間の画像データと関連づけることを特徴とする撮像装置。
続きを表示（約 900 文字）【請求項２】
前記所定の変化は、所定量以上の輝度変化又は所定量以上の色変化を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体情報は、被写体の位置情報、姿勢情報、距離情報、手や指などの画像認識情報の少なくとも１つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記蓄積期間は、前記画像用撮像素子において前記画像表示用の画像データを光電変換している期間であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画像用撮像素子は、ローリングシャッタ方式の撮像素子または、グローバルシャッタ方式の撮像素子であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記イベントベース撮像素子は、前記所定の変化があった前記画像領域の位置を示すイベント信号を出力することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記被写体情報処理部は、前記イベントベース撮像素子からの前記イベント信号に基づき前記位置を生成するための信号処理を行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記被写体情報処理部は、前記画像用撮像素子の前記蓄積期間中に発生した前記イベント信号に基づく前記被写体情報、又は前記蓄積期間中に処理した前記イベント信号に基づく前記被写体情報を、前記蓄積期間に生成された画像データに関連付けることを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記蓄積期間に生成された画像データに関連付ける前記イベント信号は、前記蓄積期間の開始前に発生した前記イベント信号を反映したものであることを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記被写体情報処理部は、所定のフレームの蓄積期間終了から次のフレームの蓄積期間開始までの期間に応じて前記次のフレームに引き継ぐ処理データの処理期間を可変することを特徴とする請求項９に記載の撮像装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、撮像装置、制御方法、及びコンピュータプログラム等に関するものである。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
近年、現実世界と仮想世界とをリアルタイム且つシームレスに融合させる技術として複合現実ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術や、実在する風景に拡張情報を重畳させる拡張現実ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）が知られている。
【０００３】
即ち、実在する風景をリアルタイムでビデオ撮影し、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）などを利用して使用者が両目でその画像を視認し、撮像装置の位置姿勢に応じて生成したコンピュータグラフィックス（ＣＧ）の映像を重畳表示する。それをＨＭＤのディスプレイなどの表示装置を通じて観察するものである。
【０００４】
上記の動作を実現するため、ＣＭＯＳイメージセンサ等の撮像素子で撮像された画像を用いて、使用者が視認する表示画像と、位置姿勢や、周囲の距離情報、手や指などの被写体検出などのコンピュータビジョン処理を行う。
【０００５】
従来のコンピュータビジョン処理においては、特許文献１のように、フレーム単位で得られた画像に対して変化があったところに更新処理を行うが、変化が無い部分に対しても更新処理を行うなど冗長な処理を行っている。
【０００６】
又、特許文献２には、撮像素子の画素ごとの輝度変化をアドレスイベント信号としてリアルタイムに出力するイベントベースセンサが記載されている。
【先行技術文献】
【特許文献】
【０００７】
特開２００７－２１９０８２号公報
特開２０１９－１３４２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そのため、システム負荷が大きくなり、ハード処理能力の膨大化や消費電力の増大の一因となっていた。又、ＣＭＯＳイメージセンサはフレーム単位での撮像動作を行うため、フレーム間での非露光期間は、画像情報としては欠損する。そのためリアルタイム処理が求められるコンピュータビジョン処理においては、フレーム間に変化した情報を捉えられず、処理精度を欠いてしまうという課題がある。
【０００９】
そこで本発明の目的は、データ処理負荷を軽減した撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、撮像装置において、
画像表示用の画像データを取得する画像用撮像素子と、
所定の変化が発生した画像領域のデータを取得するイベントベース撮像素子と、
前記イベントベース撮像素子で取得された前記データを処理して被写体情報を生成する被写体情報処理部と、を有し、
前記被写体情報処理部は、前記被写体情報を、前記画像用撮像素子における蓄積期間の画像データと関連づけることを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許