特許ウォッチ

公開番号2025076713
公報種別公開特許公報(A)
公開日2025-05-16
出願番号2023188500
出願日2023-11-02
発明の名称情報処理装置、情報処理方法およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類H04N 13/122 20180101AFI20250509BHJP(電気通信技術)
要約【課題】違和感を生じさせる可能性を低減した、立体視を実現するための視差画像を得る。
【解決手段】立体視を実現するための視差画像を構成する対の画像における対応する画素同士を紐づけた対応付けデータを生成し、生成された前記対応付けデータに基づき、前記対の画像において対応関係にある画素同士の垂直方向のずれを補正する。
【選択図】図2
特許請求の範囲【請求項１】
立体視を実現するための視差画像を構成する対の画像を取得する取得手段と、
前記取得手段によって取得された前記視差画像を構成する対の画像における対応する画素同士を紐づけた対応付けデータを生成する対応付け手段と、
生成された前記対応付けデータに基づき、前記対の画像において対応関係にある画素同士の垂直方向のずれを補正する補正手段と、
を有する、ことを特徴とする情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記補正手段は、前記対の画像のうち、一方、または両方を補正する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記視差画像を表示するためのメッシュデータを取得し、
前記補正手段は、生成された前記対応付けデータに基づき、前記取得手段によって取得された前記メッシュデータで示される座標を補正することで、前記視差画像を構成する対の画像において対応関係にある画素同士の垂直方向のずれを補正する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記視差画像を構成する各画素の補正の重みを導出する導出手段をさらに有し、
前記導出手段は、前記視差画像の各画素に記録された、前記視差画像を撮像する撮像装置の光軸方向に対する光線の角度に応じて、前記補正の重みを導出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記導出手段は、前記視差画像の各画素に記録された前記光線の仰角の角度の絶対値が大きくなるほど小さくなる前記補正の重みを導出する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記導出手段は、前記視差画像の各画素に記録された前記光線の方位角の角度の絶対値が大きくなるほど大きくなる前記補正の重みを導出する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記導出手段は、シグモイド関数を用いて前記補正の重みを導出する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記導出手段は、シグモイド関数を用いて前記補正の重みを導出する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項９】
前記視差画像が時系列の画像であり、前記視差画像から動く被写体を除いた背景画像を生成する生成手段をさらに有し、
前記対応付け手段は、前記生成手段によって生成された前記背景画像に基づき前記対応付けデータを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記取得手段は、前記視差画像が時系列の画像である場合、所定の１フレームを取得し、
前記対応付け手段は、前記取得手段によって取得された前記所定の１フレームに基づき前記対応付けデータを生成する
ことを特徴とする請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、立体視を実現するための視差画像を得るための技術に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
立体視を実現するための視差画像を構成する左目用画像および右目用画像では、ユーザの眼精疲労や融像不能などを抑制するため、垂直方向のずれを抑制することが重要である。この点、特許文献１では、斜線を撮像して得られた左目用画像および右目用画像を用いて画像間のずれ量を算出し、算出結果に基づき画像全体を回転や平行移動することで垂直方向のずれを抑制している。
【先行技術文献】
【特許文献】
【０００３】
特許第５２９７８９９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、ユーザの頭に装着して目の前に表示される映像を直接見るヘッドマウントディスプレイが広く利用されている。ヘッドマウントディスプレイは、例えば２つの魚眼レンズを備える視差撮像装置による撮像で得られた入力画像に対し画像の幾何変換やメッシュへのマッピングによる処理を行って生成した視差画像を表示する場合がある。上記入力画像を構成する左目用画像および右目用画像それぞれに含まれる同一の被写体であっても、被写体までの距離とカメラの光軸方向に対する被写体の角度とによって仰角が異なる入射角の光線として記録され、垂直方向の位置ずれが生じる。このとき、特許文献１を適用して画像全体を回転や平行移動しても、画像中の画素の位置によって異なる垂直方向のずれ量を持っていると適切に補正できず、ヘッドマウントディスプレイ等に表示された画像を見たときに違和感を生じさせてしまう可能性があった。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る情報処理装置は、立体視を実現するための視差画像を構成する対の画像を取得する取得手段と、前記取得手段によって取得された前記視差画像を構成する対の画像における対応する画素同士を紐づけた対応付けデータを生成する対応付け手段と、生成された前記対応付けデータに基づき、前記対の画像において対応関係にある画素同士の垂直方向のずれを補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本開示の技術によれば、違和感を生じさせる可能性を低減した、立体視を実現するための視差画像を得ることができる。
【図面の簡単な説明】
【０００７】
情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置の機能構成例を示すブロック図である。
情報処理装置が実行する処理の流れを示すフローチャートである。
１８０°正距円筒視差画像例を示す図である。
撮像装置の構成と撮像シーン例を示す図である。
１８０°視差画像における仰角のずれの原因を説明するための図である。
補正の重み例を示す図である。
補正後の１８０°正距円筒視差画像例を示す図である。
情報処理装置の機能構成例を示すブロック図である。
情報処理装置が実行する処理の流れを示すフローチャートである。
視差のある魚眼画像と投影用のメッシュとの関係例を示す図である。
メッシュのＵＶ座標の座標系を示す図である。
補正後のメッシュデータ例を示す図である。
補正量テーブル例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本開示の技術を実施するための形態について図面を参照して説明する。なお、以下の実施形態は特許請求の範囲を限定するものではなく、また実施の形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。
【０００９】
＜＜実施形態１＞＞
図１は、本実施形態に係る情報処理装置のハードウェア構成例を示す図である。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤインターフェース（以下、インターフェースは「Ｉ／Ｆ」と記す）１０４、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０８、ネットワークＩ／Ｆ１１０を有する。これらは、データを送受信可能にシステムバス１１２と接続している。ＨＤＤＩ／Ｆ１０４は、ハードディスクドライブ（ＨＤＤ）１０５と接続している。入力Ｉ／Ｆ１０６は、入力デバイス１０７と接続している。出力Ｉ／Ｆ１０８は、出力デバイス１０９と接続している。ネットワークＩ／Ｆ１１０は、外部サーバ１１１と接続している。
【００１０】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３およびＨＤＤ１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各ブロックの動作を制御する。ＨＤＤＩ／Ｆ１０４は、ＨＤＤ１０５の他に光ディスクドライブなどの二次記憶装置も接続する。ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）などのＩ／Ｆである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開することができ、逆に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することもできる。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとして実行することができる。入力Ｉ／Ｆ１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７と接続する。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスＩ／Ｆである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、情報処理装置１００と、出力デバイスである、ユーザの頭部に装着されるヘッドマウントディスプレイとを接続する。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力Ｉ／Ｆである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介してヘッドマウントディスプレイにデータを送り、ヘッドマウントディスプレイに所定の映像を表示させることができる。
（【００１１】以降は省略されています）

関連特許