特許ウォッチ

公開番号2025095774
公報種別公開特許公報(A)
公開日2025-06-26
出願番号2023212061
出願日2023-12-15
発明の名称画像処理装置、画像処理方法及びプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06T 7/20 20170101AFI20250619BHJP(計算;計数)
要約【課題】3Dモデルのトラッキング処理においてトラック間の形状差を低減することを目的とする。
【解決手段】オブジェクトの三次元形状を表す3Dモデルを含んだフレーム群から成る時系列形状データに対し、隣り合うトラック間で重複区間が生じるようにトラッキング処理を行う。そして、トラッキング処理の結果に基づき、重複区間内のいずれかの位置をトラック境界として、隣り合うトラック間で重複区間のないトラッキング済み時系列形状データを出力する。
【選択図】図7
特許請求の範囲【請求項１】
オブジェクトの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する取得手段と、
隣り合うトラック間で重複区間が生じるように前記時系列形状データに対しトラッキング処理を行うトラッキング手段と、
前記トラッキング処理の結果に基づき、前記重複区間内のいずれかの位置をトラック境界として、隣り合うトラック間で重複区間のないトラッキング済み時系列形状データを出力する出力手段と、
を有し、
前記トラックは、前記３Ｄモデルの構成要素がフレーム間で追跡されている区間であって、共通のトポロジが維持されているフレーム区間を示す、
ことを特徴とする画像処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記トラッキング手段は、
前記フレーム群について設定された複数のキーフレームに基づいて、時系列方向及び逆時系列方向の二方向へトラッキング処理を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記トラッキング手段は、隣り合うキーフレームの間隔の半分を超えるフレーム数で前記二方向にトラッキング処理を行う、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記トラッキング手段は、あるキーフレームから次のキーフレームまでを１つのトラックとして前記二方向にトラッキング処理を行う、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記トラッキング手段は、
前記フレーム群について設定された複数のキーフレームに基づいて、時系列方向又は逆時系列方向のいずれか一方向へトラッキング処理を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記トラッキング手段は、隣のキーフレームを越えた数フレーム先までを１つのトラックとして前記一方向のトラッキング処理を行う、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記重複区間に含まれる各フレームにおける前記隣り合うトラックそれぞれのトラッキング済み３Ｄモデルが表す形状の差に基づいて、前記トラック境界を決定する決定手段をさらに有する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記決定手段は、
前記重複区間に含まれるフレーム単位で、前記隣り合うトラックそれぞれのトラッキング済み３Ｄモデルが表す形状の類似度を算出し、
算出された前記形状の類似度の高かったフレームペアを特定し、
特定された前記フレームペアの間を、前記トラック境界に決定する、
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定手段は、前記重複区間に含まれる各フレームの中で前記形状の類似度が最も高かったフレームと、当該フレームの両隣のフレームのうち前記形状の類似度が高かった方のフレームとの組合せを、前記フレームペアとして特定する、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記重複区間に含まれる各フレームの中で隣り合う２つのフレームにおける前記形状の類似度の総和が最大となる組み合わせを、前記フレームペアとして特定する、ことを特徴とする請求項８に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、オブジェクトの三次元形状データのトラッキング技術に関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
近年、映像作成の分野では、オブジェクト（被写体）の三次元形状を表すデータ（一般に「３Ｄモデル」と呼ばれる。）を三次元空間内に再構成し、ＣＧによる演出を加えて自由な視点から映像化するボリュメトリックビデオ技術が一般的になりつつある。ここで、生成した３Ｄモデルのデータをボリュメトリックビデオの生成装置等に転送する際のデータ圧縮の前処理として、３Ｄモデルのトラッキング処理が行われている。このトラッキング処理は、動画を構成する一連のフレーム群において、３Ｄモデルが表す三次元形状の各構成要素をフレーム間で対応付ける技術である。
【先行技術文献】
【特許文献】
【０００３】
ＵＳ２０１７／００２４９３０
特開２００６－３９６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えばメッシュ形式の３Ｄモデルに対するトラッキング処理の場合、トラッキング範囲（メッシュを構成するポリゴンの頂点が追跡されているフレーム区間。以下、「トラック」と呼ぶ。）で共通のトポロジを維持した状態になる。よって、メッシュを構成するポリゴンの頂点位置を動かすことで、トラック内の各フレームにおいて滑らかな形状変化の表現を実現することができる。しかしながら、トラックが切り替わる部分では共通のトポロジが維持されておらず、また、他トラックが自トラックと同じ正解形状に対してトラッキングしていても完全には形状が一致せず、形状差がトラック間で発生する。特に、リライティング処理を加えたレンダリングのように形状に依存した映像表現を行っていると、トラックの切り替わり時の形状変化が映像の急峻な変化として現れ、視聴者に違和感を与えることになる。図１７の（ａ）～（ｄ）は、トラックの切り替わり部分で映像にガタツキが生じた一例を示す図であり、（ａ）のフレームから（ｄ）のフレームに向かって時間が進行したときの各状態を示している。この例では（ｃ）と（ｄ）の間でトラックが切り替わっている（（ａ）と（ｂ）のフレームが同一トラックに属し、（ｃ）と（ｄ）のフレームが同一トラックに属している。）。トラックが切り替わる前後で人物の背中部分の形状変化が特に大きいことが分かる。
【０００５】
本開示は、上述した課題を解決するためになされたものであり、３Ｄモデルのトラッキング処理においてトラック間の形状差を低減することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る画像処理装置は、オブジェクトの三次元形状を表す３Ｄモデルを含んだフレーム群から成る時系列形状データを取得する取得手段と、隣り合うトラック間で重複区間が生じるように前記時系列形状データに対しトラッキング処理を行うトラッキング手段と、前記トラッキング処理の結果に基づき、前記重複区間内のいずれかの位置をトラック境界として、隣り合うトラック間で重複区間のないトラッキング済み時系列形状データを出力する出力手段と、を有し、前記トラックは、前記３Ｄモデルの構成要素がフレーム間で追跡されている区間であって、共通のトポロジが維持されているフレーム区間を示す、ことを特徴とする。
【発明の効果】
【０００７】
本開示によれば、３Ｄモデルのトラッキング処理においてトラック間の形状差を低減することができる。
【図面の簡単な説明】
【０００８】
画像処理装置の論理構成（ソフトウェア構成）を示す機能ブロック図。
画像処理装置のハードウェア構成を示すブロック図。
実施形態１に係る、画像処理装置の動作の流れを示すフローチャート。
実施形態１におけるトラッキング処理の過程を説明する図。
トラッキング処理の詳細を示すフローチャート。
実施形態１に係る、トラック境界決定処理の詳細を示すフローチャート。
トラック境界決定処理を説明する図。
出力メッシュが生成される様子を説明する図。
実施形態２に係る、画像処理装置の動作の流れを示すフローチャート。
実施形態２に係る、メッシュ形状の補正を説明する図。
メッシュの補正例を示す図。
中間ＳＤＦ算出時の重みを説明する図。
補正方法のバリエーションを示す図。
実施形態３に係る、画像処理装置の動作の流れを示すフローチャート。
実施形態３に係る、点群形状の補正を説明する図。
点群の補正例を示す図。
解決課題を説明する図。
【発明を実施するための形態】
【０００９】
以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。
【００１０】
（用語の定義）
本明細書において「オブジェクト」とは、人物等の三次元物体を意味する。また、「点」とは、三次元空間において１個の座標により示される、オブジェクトの三次元形状を表す際の要素を意味し、「点群形式」はオブジェクトの表面位置を１個以上の点の集合で表現する３Ｄモデルのデータ形式を指す。また「ポリゴン」とは、３個以上の点を頂点とした多角形面を意味し、「メッシュ形式」はオブジェクトの表面形状をポリゴンの集合で表現する３Ｄモデルのデータ形式を指す。また、トラッキング処理の対象となる、連続する各フレームに複数のオブジェクトそれぞれの三次元形状を示す複数の３Ｄモデルを含んだフレーム群のデータを「連続形状データ」或いは「時系列形状データ」と呼ぶこととする。そして、連続形状データの中でも３Ｄモデルがメッシュ形式で表現されているものを「連続メッシュデータ」と呼び、点群形式で表現されているものを「連続点群データ」と呼ぶこととする。
（【００１１】以降は省略されています）

関連特許