特許ウォッチ

公開番号2025100555
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2025043809,2023163080
出願日2025-03-18,2018-03-29
発明の名称マルチリファレンス予測のための動きベクトルの精密化
出願人ホアウェイ・テクノロジーズ・カンパニー・リミテッド
代理人個人,個人
主分類H04N 19/513 20140101AFI20250626BHJP(電気通信技術)
要約【課題】本発明は、マルチリファレンスインター予測のための探索空間における動きベクトル精密化の実行に関する。2つ以上の参照ピクチャが選択され、それらのうちの1つが動きベクトル精密化のために使用される。
【解決手段】動きベクトル精密化のための参照ピクチャへの動きベクトルの初期推定に基づいて、この参照画像における探索空間が構築される。テンプレートマッチングを使用して、第1の動きベクトルが精密化される。別の参照ピクチャに対する第2の動きベクトルは、その初期推定と、第1の動きベクトルの初期推定と、精密化された第1の動きベクトルとを使用して計算される。
【選択図】図7
特許請求の範囲【請求項１】
ビデオの第1の参照ピクチャ内の第1の動きベクトル(MV0")と前記ビデオの第2の参照ピクチャ内の第2の動きベクトル(MV1")とを決定するための装置であって、前記第1および第2の動きベクトルが、現在のピクチャ内の前記ビデオのピクチャブロックのインター予測において適用され、前記装置が、
前記第1の動きベクトルの推定値(MV0)を取得し、前記第1の動きベクトルの前記推定値に基づいて指定された探索空間(310)内で探索を実行することによって前記第1の動きベクトルを決定するように構成された動きベクトル精密化ユニット(530)と、
前記第2の動きベクトルの推定値(MV1)を取得し、前記第2の動きベクトルの前記推定値と前記第1の動きベクトルとに基づいて前記第2の動きベクトルを計算するように構成される動きベクトル計算ユニット(550)と
を備える、装置。
続きを表示（約 1,200 文字）【請求項２】
前記動きベクトル計算ユニット(550、560)が、前記第2の動きベクトルの前記推定値に、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の差、または、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の前記差の関数を加えることによって前記第2の動きベクトルを計算するように構成された、請求項1に記載の装置。
【請求項３】
前記関数が、スケーリング係数によるスケーリング、および/またはクリッピングを含む、請求項2に記載の装置。
【請求項４】
前記スケーリング係数の値が、前記第1の参照ピクチャおよび前記第2の参照ピクチャの前記現在のピクチャに対するそれぞれの距離間の比に依存する、請求項3に記載の装置。
【請求項５】
2つの参照ピクチャを取得し、前記2つの参照ピクチャの中から前記第1の参照ピクチャを選択し、前記2つの参照ピクチャの中から前記第2の参照ピクチャを選択するように構成された参照ピクチャ選択ユニット(510)をさらに備える、請求項1から4のいずれか一項に記載の装置。
【請求項６】
前記参照ピクチャ選択ユニット(510)が、前記それぞれの第1または第2のピクチャが、参照ピクチャの少なくとも2つのリスト間で参照ピクチャの事前定義されたリストに関連するインデックスによって、前記ビデオの前記コーディングされたピクチャブロックも含むビットストリーム内で参照されるかどうかに基づいて、前記第1のピクチャまたは前記第2のピクチャのいずれかを選択するように構成され、参照ピクチャのリストが、インデックスを前記現在のピクチャに対する参照ピクチャの位置に関連付ける、請求項5に記載の装置。
【請求項７】
前記参照ピクチャ選択ユニット(510)が、前記2つの参照ピクチャが参照ピクチャの同じ事前定義されたリスト内のインデックスによって前記ビットストリーム内で参照される場合、参照ピクチャの前記リスト内の最も高い位置を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項6に記載の装置。
【請求項８】
前記参照ピクチャ選択ユニット(510)が、前記2つのピクチャの中で最も低い時間層を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
【請求項９】
前記参照ピクチャ選択ユニット(510)が、最も低いベース量子化値を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
【請求項１０】
前記参照ピクチャ選択ユニット(510)が、前記現在のピクチャまでの最小の距離を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオコーディングの分野に関し、具体的には、マルチリファレンスインター予測において適用可能な動きベクトル推定に関する。本出願は、その内容が参照により本明細書に組み込まれる、2017年6月30日に出願したPCT/EP2017/066342の優先権を主張するものである。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
現在のハイブリッドビデオコーデックは、予測コーディングを用いる。ビデオシーケンスのピクチャは、ピクセルのブロックに細分化され、これらのブロックは、次いで、コーディングされる。ブロックをピクセルごとにコーディングする代わりに、ブロックの空間的または時間的に近接するすでに符号化されたピクセルを使用して、ブロック全体が予測される。エンコーダは、ブロックとその予測との間の差異のみをさらに処理する。さらに処理することは、典型的には、変換ドメインにおけるブロックピクセルの係数への変換を含む。係数は、次いで、量子化によってさらに圧縮され、ビットストリームを形成するためにエントロピーコーディングによってさらに圧縮されてもよい。ビットストリームは、デコーダが符号化されたビデオを復号することを可能にする任意のシグナリング情報をさらに含む。例えば、シグナリングは、入力ピクチャのサイズ、フレームレート、量子化ステップ指示、ピクチャのブロックに適用される予測などのエンコーダ設定に関する設定を含んでもよい。
【０００３】
時間的予測は、ビデオの、フレームとも呼ばれるピクチャ間の時間的相関を利用する。時間的予測は、異なるビデオフレームの間(インター)の依存関係を使用する予測であるので、インター予測とも呼ばれる。したがって、現在のブロックとも呼ばれる符号化されているブロックは、(1つまたは)複数の、参照ピクチャとも呼ばれる以前に符号化されたピクチャから予測される。参照ピクチャは、現在のブロックがビデオシーケンスの表示順序で配置されている現在のピクチャの前のピクチャである必要はない。エンコーダは、表示順序とは異なるコーディング順序でピクチャを符号化してもよい。現在のブロックの予測として、参照ピクチャ内の同一位置にあるブロックが決定されてもよい。同一位置にあるブロックは、現在のピクチャ内の現在のブロックと同じ位置にある参照ピクチャ内に位置するブロックである。そのような予測は、静止したピクチャ領域、すなわち、あるピクチャから別のピクチャへの動きのないピクチャ領域については正確である。
【０００４】
動きを考慮した予測子、すなわち、動き補償予測子を取得するために、現在のブロックの予測を決定するとき、典型的には動き推定が用いられる。したがって、現在のブロックは、同一位置にあるブロックの位置から動きベクトルによって与えられる距離に位置する、参照ピクチャ内のブロックによって予測される。デコーダが現在のブロックの同じ予測を決定することを可能にするために、動きベクトルは、ビットストリーム内でシグナリングされてもよい。ブロックの各々に関する動きベクトルをシグナリングすることによって引き起こされるシグナリングオーバヘッドをさらに低減するために、動きベクトル自体が推定されてもよい。動きベクトル推定は、空間的および/または時間的ドメインにおいて隣接するブロックの動きベクトルに基づいて実行されてもよい。
【０００５】
現在のブロックの予測は、1つの参照ピクチャを使用して、または2つ以上の参照ピクチャから取得された予測に重み付けすることによって計算されてもよい。隣接ピクチャは、現在のピクチャに類似している可能性が最も高いので、参照ピクチャは、隣接ピクチャ、すなわち、表示順序において直前のピクチャおよび/または直後のピクチャであってもよい。しかしながら、一般に、参照ピクチャはまた、表示順序において現在のピクチャの前または後で、ビットストリーム(復号順)において現在のピクチャの前の任意の他のピクチャであってもよい。これは、例えば、ビデオコンテンツにおけるオクルージョンおよび/または非線形の動きの場合に利点を提供してもよい。したがって、参照ピクチャはまた、ビットストリーム内でシグナリングされてもよい。
【０００６】
インター予測の特別なモードは、現在のブロックの予測を生成する際に2つの参照ピクチャが使用される、いわゆる双予測である。具体的には、それぞれの2つの参照ピクチャにおいて決定された2つの予測は、現在のブロックの予測信号に結合される。双予測は、片予測、すなわち、単一の参照ピクチャのみを使用する予測よりも正確な現在のブロックの予測をもたらしてもよい。より正確な予測は、現在のブロックのピクセルと予測との間のより小さい差異(「残差」とも呼ばれる)につながり、それは、より効率的に符号化され、すなわち、より短いビットストリームに圧縮されてもよい。一般に、現在のブロックを予測するために3つ以上の参照ピクチャも使用され、それぞれ3つ以上の参照ブロックを見出してもよく、すなわち、マルチリファレンスインター予測が適用されうる。したがって、マルチリファレンス予測という用語は、双予測、ならびに3つ以上の参照ピクチャを使用する予測を含む。
【０００７】
より正確な動き推定を提供するために、参照ピクチャの解像度は、ピクセル間にサンプルを補間することによって強化されてもよい。最も近いピクセルの加重平均によって、分数ピクセル補間が実行されうる。ハーフピクセル解像度の場合、例えば、典型的には双線形補間が使用される。他の分数ピクセルは、それぞれの最も近いピクセルと予測されているピクセルとの間の距離の逆数によって重み付けされた最も近いピクセルの平均として計算される。
【０００８】
動きベクトル推定は、現在のブロックと、参照ピクチャ内の候補動きベクトルによって指される対応する予測ブロックとの間で類似性が計算される計算的に複雑なタスクである。複雑さを低減するために、いくつかの候補動きベクトルは、通常、候補動きベクトルを特定の探索空間に制限することによって低減される。探索空間は、例えば、現在の画像内の現在のブロックの位置に対応する参照ピクチャ内の位置を取り囲むピクセルの数および/または位置によって定義されてもよい。一方、候補動きベクトルは、隣接ブロックの動きベクトルによって形成される候補動きベクトルのリストによって定義されてもよい。
【０００９】
動きベクトルは、通常、エンコーダ側において少なくとも部分的に決定され、コーディングされたビットストリーム内でデコーダに通知される。しかしながら、動きベクトルはまた、デコーダにおいて導出されてもよい。そのような場合、現在のブロックは、デコーダにおいて利用できず、候補動きベクトルが参照ピクチャにおいて指すブロックとの類似性を計算するために使用することができない。したがって、現在のブロックの代わりに、すでに復号されたブロックのピクセルで構成されたテンプレートが使用される。例えば、(現在のピクチャまたは参照ピクチャにおいて)現在のブロックに隣接するすでに復号されたピクセルが使用されてもよい。そのような動き推定は、シグナリングを低減するという利点を提供し、動きベクトルは、エンコーダとデコーダの両方において同じ方法で導出され、したがって、シグナリングが必要とされない。一方、そのような動き推定の精度は、より低い可能性がある。
【００１０】
精度とシグナリングオーバヘッドとの間のトレードオフを提供するために、動きベクトル推定は、動きベクトル導出と動きベクトル精密化の2つのステップに分割されてもよい。例えば、動きベクトル導出は、候補のリストからの動きベクトルの選択を含んでもよい。そのような選択された動きベクトルは、例えば、探索空間内での探索によってさらに精密化されてもよい。探索空間での探索は、各候補動きベクトルについて、すなわち、候補動きベクトルが指すブロックの各候補位置についてコスト関数を計算することに基づく。
（【００１１】以降は省略されています）

関連特許