特許ウォッチ

公開番号2025070505
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2023180869
出願日2023-10-20
発明の名称三次元形状計測装置及びそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類G01B 11/24 20060101AFI20250424BHJP(測定;試験)
要約【課題】被写体の三次元形状を高精度に計測できる三次元形状計測装置を提供する。
【解決手段】三次元形状計測装置1は、シルエット画像に投影した空間各点が被写体の内部に位置するか否かを判定する視錐台内外判定を行い、被写体の内部に位置する空間各点への投票処理により視体積交差投票結果を求める視体積交差判定手段11と、デプス画像に投影した空間各点が被写体の奥側に位置するか否かを判定し、被写体の奥側に位置する空間各点への投票処理によりデプス拘束投票結果を求め、視体積交差投票結果が視体積交差閾値以上、かつ、デプス拘束投票結果がデプス拘束閾値以上となる空間各点を被写体の三次元形状として出力するデプス拘束判定手段12と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
被写体の輪郭を表す各視点のシルエット画像と、空間各点の三次元座標を前記シルエット画像の画像座標に対応付ける第１パラメータと、前記被写体のデプス値を表す１以上のデプス画像と、前記空間各点の三次元座標を前記デプス画像の画像座標に対応付ける第２パラメータとに基づいて、前記被写体の三次元形状を計測する三次元形状計測装置であって、
前記第１パラメータで各シルエット画像に投影した空間各点が前記被写体の内部に位置するか否かを判定する視錐台内外判定を行い、前記被写体の内部に位置する空間各点への投票処理により視体積交差投票結果を求める視体積交差判定手段と、
前記第２パラメータで前記デプス画像に投影した空間各点が前記被写体の奥側に位置するか否かを判定し、前記被写体の奥側に位置する空間各点への投票処理によりデプス拘束投票結果を求め、前記視体積交差投票結果が予め設定した視体積交差閾値以上、かつ、前記デプス拘束投票結果が予め設定したデプス拘束閾値以上となる空間各点を前記被写体の三次元形状として出力するデプス拘束判定手段と、
を備えることを特徴とする三次元形状計測装置。
続きを表示（約 690 文字）【請求項２】
前記デプス拘束判定手段は、
各デプス画像の画素毎に対応付けられた信頼度が入力され、
前記第２パラメータで前記デプス画像に投影した空間各点が前記被写体の奥側に位置し、かつ、前記デプス画像に投影した空間各点の信頼度が予め設定された信頼度閾値以上になるか否かを判定し、
前記被写体の奥側に位置し、かつ、前記信頼度が前記信頼度閾値以上となる空間各点への投票処理により前記デプス拘束投票結果を求めることを特徴とする請求項１に記載の三次元形状計測装置。
【請求項３】
各視点で前記被写体を撮影した視点画像にシルエット抽出処理を施すことで、前記シルエット画像を生成するシルエット抽出手段と、
前記視点画像の局所領域の対応付けにより前記デプス画像を生成するデプス画像生成手段と、をさらに備え、
前記視体積交差判定手段は、前記シルエット抽出手段から前記シルエット画像が入力され、
前記デプス拘束判定手段は、前記デプス画像生成手段から前記デプス画像が入力されることを特徴とする請求項２に記載の三次元形状計測装置。
【請求項４】
前記デプス画像生成手段は、前記視点画像における画素値の分散に基づいて、前記信頼度を算出し、
前記デプス拘束判定手段は、前記デプス画像生成手段から前記信頼度が入力されることを特徴とする請求項３に記載の三次元形状計測装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の三次元形状計測装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、三次元形状計測装置及びそのプログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
被写体の三次元形状を計測する手法として、ステレオ法が知られている。このステレオ法は、複数の視点位置において撮影された画像に基づいて、視点の異なる画像間で局所的なパターンの対応付けを行うことで、視差情報を得るものである。すなわち、ステレオ法では、被写体上の局所的な画像特徴やパターンに着目して、異なる視点に設置されたカメラで撮影された画像間で局所ごとの対応付けを行うことで、三角測量の原理により被写体の三次元形状を計測する。
【０００３】
また、被写体の三次元形状を計測する手法として、視体積交差法が知られている。この視体積交差法では、複数の視点から見た被写体のシルエットに基づいて、視点を頂点にしてシルエット内部を通過する錐（視錐台）をそれぞれ求め、全視錐台の交差領域に基づいて被写体の三次元形状を計測する。
【０００４】
また、ステレオ法のデプス探索を行う際に、視体積交差法で求めた視体積の表面に近くなる程コストが小さくなるような加重を行ったマッチングにより、視体積交差法の頑健性とステレオ法の精度を両立する技術が知られている（非特許文献１）。この非特許文献１に記載の手法では、被写体上に複数の類似パターンが存在する場合であっても、視体積表面により近いパターン同士を対応付けることが可能となり、対応付けの誤りを低減できる。また、非特許文献１に記載の手法では、被写体上に凹部が存在しても、デプス探索の対応付けが正しくなされれば、当該凹部の形状も正しく推定できる。
【０００５】
また、多視点画像から三次元形状データを生成する装置において、画像中におけるオブジェクトの空間分解能に基づいて決定された信頼度により、三次元形状データを生成する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
特許第７１９５７８５号公報
【非特許文献】
【０００７】
冨山仁博、片山美和、岩舘祐一、今泉浩幸、「視体積交差法とステレオマッチング法を用いた多視点画像からの三次元動オブジェクト生成手法」、映像情報メディア学会誌Vol.58、No.6、pp.797～806（2004）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前記したステレオ法では、被写体上に特徴的なパターンが存在しない場合、又は、被写体上に複数の類似パターンが存在する場合、正しい対応付けが行われず、その結果として正しい被写体の三次元形状を計測できないことがある。
【０００９】
視体積交差法では、ステレオ法のような画像間の対応付け処理が含まれないため、被写体上に特徴的なパターンが存在しない場合や複数の類似パターンが存在する場合でも問題とならない。しかし、視体積交差法では、被写体の凹部が視錐台に反映されず、被写体の三次元形状に凹部が正しく反映されない可能性がある。
【００１０】
非特許文献１に記載の手法では、被写体上に特徴的なパターンが存在しない場合、本来のデプスと異なるデプス位置に誤って対応付けることがある。また、非特許文献１に記載の手法では、加重により対応付け結果を視体積表面に限局させることが可能であるが、画像上の雑音等に起因して視体積表面からある程度の距離内において、表面形状が波打つようなアーチファクトを生じることがある。このアーチファクトは、画像上の雑音の影響を受やすいため、時系列的な三次元形状を取得した場合、当該形状が時間・空間的に波打つように歪む形状フリッカを生じる可能性がある。
（【００１１】以降は省略されています）

関連特許