特許ウォッチ

公開番号2025118484
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2024135171
出願日2024-08-14
発明の名称立体視ビデオのためのZ平面における時間的に安定した遮蔽のないキャプションレンダリング位置
出願人ディズニーエンタープライジーズインコーポレイテッド
代理人弁理士法人鈴榮特許綜合事務所
主分類H04N 13/106 20180101AFI20250805BHJP(電気通信技術)
要約【課題】立体視ビデオにおいて、適切なキャプションの挿入方法を提供する。
【解決手段】立体視ビデオの現在のフレームにおける複数の視差値から視差値を決定する。視差値は、立体視ビデオの第1のビデオと第2のビデオとの間のピクセルについての値の差に基づく。ロケーションが、視差値を含む現在のフレームにおいて決定される。この方法は、現在のフレームより前の第1のフレームを、第1のフレームにおける視差値を調整して、1つ以上の調整された第1の視差値を生成するために分析する。また、この方法は、現在のフレームより後の第2のフレームを、第2のフレームにおける視差値を調整して、1つ以上の調整された第2の視差値を生成するために分析する。1つ以上の調整された第1の視差値及び1つ以上の調整された第2の視差値は、第1のビデオ又は第2のビデオにおいてキャプションを表示する際に使用するために出力される。
【選択図】図1
特許請求の範囲【請求項１】
方法であって、
立体視ビデオの現在のフレームにおける複数の視差値から視差値を決定すること、ここにおいて、前記視差値は、前記立体視ビデオの第１のビデオと第２のビデオとの間のピクセルについての値の差に基づく、と、
前記視差値を含む現在のフレームにおけるロケーションを決定することと、
前記現在のフレームより前の１つ以上の第１のフレームを、前記１つ以上の第１のフレームにおける視差値を調整して、１つ以上の調整された第１の視差値を生成するために分析することと、
前記現在のフレームより後の１つ以上の第２のフレームを、前記１つ以上の第２のフレームにおける視差値を調整して、１つ以上の調整された第２の視差値を生成するために分析することと、
前記第１のビデオ又は前記第２のビデオにおいてキャプションを表示する際に使用するための前記１つ以上の調整された第１の視差値及び前記１つ以上の調整された第２の視差値を出力することと、
を備える方法。
続きを表示（約 1,600 文字）【請求項２】
前記１つ以上の調整された第１のパリティ値は、連続する第１のフレームにおいて差の値より多く変化せず、
前記１つ以上の調整された第２のパリティ値は、連続する第２のフレームにおいて前記差の値より多く変化しない、
請求項１に記載の方法。
【請求項３】
前記視差値を決定することは、
前記立体視ビデオの視聴者に最も近いとみなされる、前記複数の視差値からの視差値を決定すること
を備える、請求項１に記載の方法。
【請求項４】
前記視差値を決定することは、
前記立体視ビデオの視聴者に最も近いとみなされる、複数のロケーションにおけるロケーションについての視差値を決定することと、
前記複数のロケーションから前記ロケーションを決定することと、
を備える、請求項１に記載の方法。
【請求項５】
前記ロケーションは、前記現在のフレームにおける領域として定義されるセルを備え、前記領域は、前記第１のビデオ又は前記第２のビデオにおいて、キャプションを表示するために使用される、請求項１に記載の方法。
【請求項６】
前記ロケーションを決定することは、
前記視差値を含む１つ以上のフレームを決定することと、
前記１つ以上のフレームの各々について、前記視差値を含む１つ以上のロケーションを決定することと、
を備える、請求項１に記載の方法。
【請求項７】
前記１つ以上のロケーションの各々について、
ロケーションについてのそれぞれのフレームより前の１つ以上の第１のフレームを、前記１つ以上の第１のフレームにおける視差値を調整して、１つ以上の調整された第１の視差値を生成するために分析することと、
前記ロケーションについての前記それぞれのフレームより後の１つ以上の第２のフレームを、前記１つ以上の第２のフレームにおける視差値を調整して、１つ以上の調整された第２の視差値を生成するために分析することと、
を備える、請求項６に記載の方法。
【請求項８】
前記現在のフレームより前の１つ以上の第１のフレームを分析することは、
第１のフレームを決定することと、
前記第１のフレームについての視差値が、前記現在のフレームについての視差値より小さいかどうかを決定すること、ここにおいて、より小さいことは、前記立体視ビデオの視聴者により近いことを示す、と、
前記第１のフレームについての前記視差値が、前記現在のフレームについての前記視差値より小さくないとき、前記第１のフレームについての前記視差値が、前記現在のフレームについての前記視差値足す差の値より大きいかどうかを決定すること、ここにおいて、より大きいことは、前記立体視ビデオの前記視聴者からより遠く離れていることを示す、と、
を備える、請求項１に記載の方法。
【請求項９】
前記現在のフレームより前の１つ以上の第１のフレームを分析することは、
前記第１のフレームについての前記視差値を、前記視差値足す前記差の値以下である調整された第１の視差値に調整すること
を備える、請求項８に記載の方法。
【請求項１０】
前記現在のフレームより前の１つ以上の第１のフレームを分析することは、
決定された前記第１のフレーム以前の別の第１のフレームを決定することと、
前記別の第１のフレームの視差値及び前記第１のフレームの前記調整された第１の視差値を、前記別の第１のフレームの前記視差値を調整して、前記別の第１のフレームについての調整された第１の視差値を生成するかどうかを決定するために分析することと、
を備える、請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【関連出願の相互参照】
【０００１】
[0001]米国特許法１１９条（ｅ）に従って、本願は、２０２４年１月３１日に出願された「Automatic Method to Produce Temporally Stable Occlusion Free Subtitle Rendering Position in Z-plane for Stereoscopic Video」と題する米国仮特許出願第６３／６２７，６４６号の出願日の利益を享受する権利を有し、且つその利益を主張するものであり、その内容は、あらゆる目的のために、その全体が参照により本明細書に組み込まれる。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
[0002]立体視ビデオは、人間の目の３次元（３Ｄ）視知覚の基礎である視差を再構築するために一対のビデオを利用するメディアプレゼンテーションの一種である。視差又はＺ平面位置は、左ビデオと右ビデオとの間の水平変位として定義される。収束カメラセットアップでは、オブジェクトについての視差のより負の値（more negative value）は、オブジェクトが視聴者により近いことを暗示する。平行カメラセットアップでは、視差値は、常に正となり、平行カメラセットアップにおけるより大きい視差値は、視聴者により近いことを示す。
【０００３】
[0003]キャプションが、立体視ビデオにおいてレンダリングされ得る。Ｚ平面でのキャプションの配置は、視聴者に問題を引き起こす場合がある。キャプションが視聴者から遠く離れすぎて配置される場合、キャプションは、キャプションの前にあるオブジェクトによって遮蔽され得る。また、キャプションがＺ平面において視聴者に近すぎて配置される場合、視聴者が、Ｚ平面においてより遠く離れているオブジェクトと、近すぎるキャプションとに焦点を合わせなければならず、目の疲れを生じ得る。別の問題は、キャプションのＺ平面位置が、連続するフレームにわたって激変する（例えば、近くにあり、そして遠くになる）場合であり、これは、視聴者が異なるＺ平面位置におけるキャプションを探し回るので、目の疲れを生じさせる。
【０００４】
[0004]含まれる図面は、例示を目的としており、開示される本発明のシステム、装置、方法、及びコンピュータプログラム製品のための可能な構造及び動作の例を提供するためにのみ役立つ。これらの図面は、開示される実装形態の趣旨及び範囲から逸脱することなく当業者によってなされ得る、形態及び詳細におけるいかなる変更も決して限定しない。
【図面の簡単な説明】
【０００５】
[0005]図１は、いくつかの実施形態による、立体視ビデオを処理するためのシステムを図示する。
[0006]図２は、いくつかの実施形態による、キャプションについての視差値を処理するための簡略化されたフローチャートを図示する。
[0007]図３は、いくつかの実施形態による、バックワードパス視差調整の簡略化されたフローチャートを図示する。
[0008]図４は、いくつかの実施形態による、フォワードパス視差調整のための簡略化されたフローチャートを図示する。
[0009]図５は、いくつかの実施形態による、立体視ビデオについての未処理の視差値（raw disparity values）のグラフを図示する。
[0010]図６は、いくつかの実施形態による、レンダリング情報生成器を使用した調整を有するグラフを示す。
[0011]図７は、いくつかの実施形態による、調整された視差値のグラフを示す。
[0012]図８は、いくつかの実施形態による、コンピューティングデバイスの一例を例示する。
【発明を実施するための形態】
【０００６】
[0013]本明細書では、ビデオ表示システムのための技法が説明される。以下の説明では、説明を目的として、いくつかの実施形態の完全な理解を提供するために、多数の例及び具体的な詳細が記載されている。特許請求の範囲によって定義されるいくつかの実施形態は、これらの例における特徴の一部又は全てを単独で、又は以下で説明する他の特徴と組み合わせて含み得、本明細書で説明する特徴及び概念の修正及び同等物を更に含み得る。
【０００７】
[0014]＜システムの概要＞
【０００８】
[0015]いくつかの実施形態では、システムが、立体視ビデオにおいてキャプションを表示するために使用されるテキストについての視差値を決定する。テキストは、異なるタイプのテキストであり得る。いくつかの実施形態では、テキストは、キャプションと呼ばれ得、これは、立体視ビデオのためのサブタイトル又はクローズドキャプションであり得る。「キャプション」という用語は、テキストの機能を示し得る。いくつかの実施形態では、キャプションという用語は、クローズドキャプション又はサブタイトルのいずれかであり得る。クローズドキャプションは、ビデオの対話部分のテキストの文字起こしを提供する。それは、難聴視聴者による使用のために設計されている。サブタイトルは、ビデオの対話部分のテキスト翻訳を提供する。サブタイトルは、視聴者が音声を聞くことができるが、言語を理解することができないことを想定し得る。クローズドキャプション及びサブタイトルの両方が、ビデオの対話部分のコンテンツを反映する時限テキスト（timed text）である。いくつかの実施形態では、立体視ビデオは、左ビデオ及び右ビデオと呼ばれる、第１のビデオ及び第２のビデオを有し得る。キャプションは、左ビデオと右ビデオとの両方に表示され得る。以下の説明では、プロセスは、左ビデオ又は右ビデオに適用され得る。
【０００９】
[0016]立体視ビデオにおいてどこにキャプションを表示するかを処理するために、システムは、立体視ビデオのフレームにおけるオブジェクトの運動を記述するマップと、立体視ビデオにおける左ビデオ及び右ビデオからの一対のフレームにおける対応するオブジェクトの位置又は奥行きの差と、を使用する。マップは、高品質のフレームごとのオプティカルフロー／視差マップであり得る。マップは、一対のフレームの、１つ以上のピクセルについての視差値を含み得る。左ビデオ及び右ビデオは、同じフレーム番号を含み得る。左ビデオ及び右ビデオは、同じサイズであり得るか、又は異なるサイズであり得る。例えば、立体ビデオの左ビュー及び右ビューの解像度は、このプロセスが実行されるために同じである必要はない。視差マップは、フレーム番号についての視差値を参照し得る。本明細書のプロセスにおいて立体視ビデオが参照されるとき、この処理は、左ビデオと右ビデオとの関係から視差値を決定し得る。
【００１０】
[0017]次いで、システムは、複数のフレームにわたって、ノイズのある視差値を、フィルタ処理／平滑化する等、調整するために、固定双方向ウィンドウ等のウィンドウを適用する。双方向ウィンドウは、選択されたフレームについて、フォワード方向及びバックワード方向において視差値を考慮し得る。視差値が平滑化された後、システムは、視聴者に最も近い、立体視ビデオにおける視差値のグローバルセットからの最低の（最も負の）視差値等の、ｘに設定された第１の値から開始する。次いで、システムは、ｘにおけるセル値を含むフレームを見つける。システムは、各フレームと、ｘに等しい視差値を含む各セルロケーションとをループする。セルロケーションは、視差値に関連付けられ得る。ループにおいて、システムは、丁度可知差異（ＪＮＤ：just noticeable difference）要件等の要件を満たすように、視差値をバックワード方向及びフォワード方向の両方で調整する。丁度可知差異要件は、キャプションが知覚可能であるためのＺ平面上の最小変化レートを定義し得る。その処理の後、システムは、視差値を、視聴者からより遠くに離れるように（例えば、増加するように）徐々に調整し、そのたびに、システムは、要件を満たすように、バックワード方向及びフォワード方向の両方で視差値を反復的に調整する。最低の処理された視差値が閾値を満たすとき等、処理を終了した後、システムは、フレームについての視差値を出力する。次いで、システムは、立体視ビデオと共にキャプションを表示するために、調整された視差値を使用する。
（【００１１】以降は省略されています）

関連特許