特許ウォッチ

公開番号2025116075
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2025087297,2021577997
出願日2025-05-26,2020-07-02
発明の名称ストリーミングサービスにおけるボリュメトリックコンテンツのコンポーネントのサブビットストリームの動的アダプテーション
出願人インターデイジタルヴィーシーホールディングスインコーポレイテッド
代理人弁理士法人谷・阿部特許事務所
主分類H04N 19/70 20140101AFI20250731BHJP(電気通信技術)
要約【課題】メディアコンテンツをデコードする装置が提供される。
【解決手段】装置は、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得する。このパラメータセットは、複数のコンポーネントサブビットストリームを示す。装置は、コーデック識別子(ID)と、複数のコンポーネントサブビットストリームのうちのコンポーネントサブビットストリームとの間の関連付けを示すSEI(supplemental enhancement information)メッセージを受信し、コーデックIDとコンポーネントサブビットストリームとの間の関連付けに基づいて、ビジュアルボリュメトリックコンテンツをデコードする。装置は、コーデックIDを使用してコンポーネントサブビットストリームをデコードするために使用されることになるコーデックを判定する。
【選択図】図8
特許請求の範囲【請求項１】
プロセッサを備えた、メディアコンテンツをデコードする装置であって、
前記プロセッサは、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得することであって、前記パラメータセットは、複数のコンポーネントサブビットストリームを示す、ことと、
コーデック識別子（ＩＤ）と、前記複数のコンポーネントサブビットストリームのうちのコンポーネントサブビットストリームとの間の関連付けを示すＳＥＩ（supplemental enhancement information）メッセージを受信することと、
前記コーデックＩＤと前記コンポーネントサブビットストリームとの間の前記関連付けに基づいて、前記ビジュアルボリュメトリックコンテンツをデコードすることと、
を実行するように構成されている、装置。
続きを表示（約 1,400 文字）【請求項２】
前記プロセッサは、前記コーデックＩＤを使用して前記コンポーネントサブビットストリームをデコードするために使用されることになるコーデックを判定するようにさらに構成されている、請求項１の装置。
【請求項３】
前記プロセッサは、
前記コーデックＩＤに基づいて前記コンポーネントサブビットストリームのためのコーデックデコーダを選択することと、
前記選択されたコーデックデコーダを使用して前記コンポーネントサブビットストリームをデコードすることと、
をさらに実行するように構成されている、請求項１の装置。
【請求項４】
前記ＳＥＩメッセージは、前記コンポーネントサブビットストリームに関連付けられるコーデック変更を示す、請求項１の装置。
【請求項５】
前記ＳＥＩメッセージは、第２のＳＥＩメッセージであり、前記プロセッサは、
前記コンポーネントサブビットストリームと最初のコーデックとの間の関連付けを示す第１のＳＥＩメッセージ、および前記コンポーネントサブビットストリームに関連付けられる前記最初のコーデックからのコーデック変更を示す前記第２のＳＥＩメッセージを受信するようにさらに構成されており、前記コーデックＩＤは、前記コンポーネントサブビットストリームに関連付けられる更新されたコーデックを示す、請求項１の装置。
【請求項６】
前記ＳＥＩメッセージは、前記ＳＥＩメッセージとは異なる別のＳＥＩメッセージが受信されるまで持続する永続性スコープを有する、請求項１の装置。
【請求項７】
前記ＳＥＩメッセージは、前記ビジュアルボリュメトリックコンテンツに関連付けられる前記パラメータセットを示す、請求項１の装置。
【請求項８】
プロセッサを備えた、メディアコンテンツをエンコードする装置であって、
前記プロセッサは、
ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得することであって、前記パラメータセットは、複数のコンポーネントサブビットストリームを示す、ことと、
コーデック識別子（ＩＤ）に基づいて、前記複数のコンポーネントサブビットストリームのうちのコンポーネントサブビットストリームをエンコードすることと、
前記コーデックＩＤと前記コンポーネントサブビットストリームとの間の関連付けを示すＳＥＩ（supplemental enhancement information）メッセージを送信することと、
を実行するように構成されている、装置。
【請求項９】
前記ＳＥＩメッセージは、前記コンポーネントサブビットストリームに関連付けられるコーデック変更を示す、請求項８の装置。
【請求項１０】
前記ＳＥＩメッセージは、第２のＳＥＩメッセージであり、前記プロセッサは、
前記コンポーネントサブビットストリームと最初のコーデックとの間の関連付けを示す第１のＳＥＩメッセージ、および前記コンポーネントサブビットストリームに関連付けられる前記最初のコーデックからのコーデック変更を示す前記第２のＳＥＩメッセージを送信するようにさらに構成されており、前記コーデックＩＤは、前記コンポーネントサブビットストリームに関連付けられる更新されたコーデックを示す、請求項８の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本願は、２０１９年７月２日に出願された「ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブストリームの動的アダプテーション」と題された米国仮特許出願第６２／８６９，７０５号の優先権を主張し、その全体は、あたかも本明細書に完全に記載されているかのように、参照により組み込まれる。
続きを表示（約 4,000 文字）【背景技術】
【０００２】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮するために、例えば、そのような信号に必要なストレージおよび／または伝送帯域幅を減らすために使用され得る。ビデオコーディングシステムは、例えば、ウェーブレットベースのシステム、オブジェクトベースのシステム、および／またはブロックベースのハイブリッドビデオコーディングシステムなどのブロックベースのシステムを含み得る。
【発明の概要】
【０００３】
システム、方法、および手段は、ポイントクラウドストリーミングサービスにおけるポイントクラウドコンポーネントサブビットストリームなどの、ビジュアルボリュメトリックコンテンツの動的アダプテーションについて開示されている。ビジュアルボリュメトリックコンテンツの動的アダプテーションは、ビジュアルボリュメトリックコンテンツにおける１つまたは複数の変更を示し得る１つまたは複数のメッセージおよび／またはパラメータセットに基づき得る。変更は、例えば、アクティブな属性および／またはコーデックにおける変更を含むことができる。例えば、ストリーミングセッションにおけるビットレートアダプテーション処理は、（例えば、リソースの可用性、帯域幅属性、クライアントコーディング機能、および／またはクライアントレンダリング機能などの動作環境に基づいて）ビデオコンポーネントに対する１つまたは複数の属性を追加し／ドロップし、および／またはビデオコンポーネントのリプレゼンテーションを異なるコーデックで符号化されたリプレゼンテーションに変更することができる。１つまたは複数のメッセージおよび／またはパラメータセットが生成されてデコーダに送信され、例えば、変更インジケーションを含み得るビジュアルボリュメトリックコンテンツ処理情報を示すことができる。デコーダは、１つまたは複数のメッセージおよび／またはパラメータセットに基づいて、どの属性サブビットストリームおよび／またはコーデックを復号に使用するかを決定するなどの復号を実行することができる。
【０００４】
１つまたは複数のメッセージおよび／またはパラメータセットは、例えば、コンポーネントコーデック変更（ＣＣＣ）メッセージ、アクティブ属性（ＡＡ）メッセージ、コンポーネント変更パラメータセット（ＣＣＰＳ）、および／またはパラメータセットアクティベーション（ＰＳＡ）メッセージを含むことができる。例えば、ビジュアルボリュメトリックコンテンツビットストリームの補足的な付加情報（ＳＥＩ）メッセージおよび／またはパラメータセットは、ビジュアルボリュメトリックコンテンツのアダプティブストリーミングをサポートすることができる。メッセージ（例えば、ＣＣＣＳＥＩメッセージ）は、デコーダ（例えば、ビジュアルボリュメトリックコンテンツデコーダ）に１つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対するコーデック変更を通知することにより、参照コンポーネントに対してどのビデオコーデックを使用するかをデコーダに決定させることができる。メッセージ（例えば、ＡＡＳＥＩメッセージ）は、デコーダ（例えば、ビジュアルボリュメトリックコンテンツデコーダ）に１つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対する属性変更を通知することにより、どのアクティブな属性を使用して、どの非アクティブな属性を参照コンポーネントのために無視するかをデコーダに決定させることができる。パラメータセット（例えば、ＣＣＰＳ）は、パラメータセット（例えば、シーケンスパラメータセット（ＳＰＳ））に関して１つまたは複数のビジュアルボリュメトリックコンテンツのコンポーネントに対してなされた変更（例えば、属性またはコーデック）についての情報を含むことができ、それにより、どのビデオコーデックおよびアクティブな属性を参照コンポーネントのために使用するかをデコーダに決定させることができる。メッセージ（例えば、ＰＳＡＳＥＩメッセージ）は、どのパラメータセットがビジュアルボリュメトリックコンテンツのコンポーネントに対してアクティブであるかをデコーダに決定させることができる。デコーダは、例えば、メッセージおよび／またはパラメータセットに基づいて、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを決定し、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号することができる。
【０００５】
一例では、メッセージは、ビジュアルボリュメトリックコンテンツのビットストリームの復号処理（例えば、メッセージの受信後）で用いるのにアクティブな属性サブビットストリームのセットを示すことができる。１つまたは複数のメッセージおよび／またはパラメータセットは、ビジュアルボリュメトリックコンテンツのビットストリームにおける属性コンポーネントサブストリームのサブセットのアクティブ化をシグナリングすることができる。１つまたは複数のメッセージおよび／またはパラメータセットは、ビジュアルボリュメトリックコンテンツのコンポーネントサブストリームに対するコーデック変更をシグナリングすることができる。ビジュアルボリュメトリックコンテンツデコーダは、例えば、参照パラメータセットでシグナリングされた少なくとも１つの属性が非アクティブであるかどうかを示すインジケーションを取得すること、例えば、インジケーションが参照パラメータセットにおける少なくとも１つの属性が非アクティブであることを示す場合、アクティブな属性インジケーション（例えば、アクティブな属性の数およびそれらの属性のインデックス）を取得すること、例えば、アクティブな属性インジケーションに基づいて非アクティブな属性を識別すること、または復号の間、参照パラメータセットにおける非アクティブな属性をスキップすることのうちの１つまたは複数を実行するように構成されることができる。
【０００６】
一例では、方法は、ポイントクラウドストリーミングサービスにおいてポイントクラウドコンポーネントサブビットストリームの動的アダプテーションを実行するように実装され得る。方法は、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームの属性サブビットストリームを非アクティブ化することを決定すること、および例えば、属性サブビットストリームの非アクティブ化を示すために本明細書に記載したようにメッセージを生成することを備えることができる。方法は、例えば、ビジュアルメディアコンテンツ処理またはコーディング装置などの装置によって実装され得る。ビジュアルメディアコンテンツ処理またはコーディング装置は、ＤＡＳＨクライアントまたはストリーミングクライアント、例えば、ビデオベースのポイントクラウド圧縮（Ｖ－ＰＣＣ）クライアントを含むことができる。
【０００７】
ビジュアルメディアコンテンツを復号する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちのどの属性サブビットストリームがアクティブであるかを示すメッセージに基づいて、ビジュアルボリュメトリックコンテンツを復号するためにどの属性サブビットストリームを使用するかを判定すること、およびメッセージに基づいてアクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号することを備えることができる。パラメータセットで示される属性は、ビジュアルメディアコンテンツを特徴づけることができる。
【０００８】
メディアコンテンツを処理する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットで示される複数の属性サブビットストリームのうちの属性サブビットストリームを非アクティブ化することを判定すること、および属性サブビットストリームの非アクティブ化を示すメッセージを生成することを備えることができる。
【０００９】
ビジュアルメディアコンテンツを復号する方法は、例えば、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットを取得することと、パラメータセットに示されている複数の属性サブビットストリームのどの属性サブビットストリームがアクティブであるかを示すメッセージを受信することと、メッセージに基づいてアクティブな属性サブビットストリームと非アクティブな属性サブビットストリームを判定することと、アクティブな属性サブビットストリームを使用してビジュアルボリュメトリックコンテンツを復号し、非アクティブな属性サブビットストリームをスキップすることとを備える。
【００１０】
メッセージは、ビットストリームにおいてシグナリングされ得る。メッセージは、補足的な付加情報（ＳＥＩ）メッセージを含み得る。メッセージは、ビットストリームが終了するまで持続する永続性スコープを有し得る。メッセージは、当該メッセージとは異なる別のメッセージが受信されるまで持続する永続性スコープを有し得る。メッセージは、ビジュアルボリュメトリックコンテンツに関連付けられるパラメータセットに示される複数の属性サブビットストリームのうちのアクティブな属性サブビットストリームの数を示すインジケータを備えることができる。
（【００１１】以降は省略されています）

関連特許