特許ウォッチ

公開番号2025077980
公報種別公開特許公報(A)
公開日2025-05-19
出願番号2024122420
出願日2024-07-29
発明の名称コンピュータビジョンの方法およびシステム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/00 20170101AFI20250512BHJP(計算;計数)
要約【課題】オブジェクトの3次元再構成を生成するためのコンピュータビジョンの方法を提供する。
【解決手段】方法は、オブジェクトの少なくとも1つの推定形状を受信することと、少なくとも1つの推定形状が、複数の点光源を使用して対応する視線方向からの1つまたは複数の画像のキャプチャに基づいて生成されるオブジェクトの少なくとも1つの推定形状を第1のニューラルネットワークへの入力として提供することと、オブジェクトの表面上の複数の点を識別するために、第1のニューラルネットワークを使用して対応する視線方向に沿って1つまたは複数の点をサンプリングすることと、識別した複数の点の各点をレンダリングし、オブジェクトの3次元再構成を生成することと、少なくとも1つの欠損を生成し、第1のニューラルネットワークを、少なくとも1つの欠損に少なくとも部分的に基づいてトレーニングすることと、を含む。
【選択図】図4
特許請求の範囲【請求項１】
オブジェクトの３次元再構成を生成するためのコンピュータビジョンの方法であって、
オブジェクトの少なくとも１つの推定形状を受信することと、前記少なくとも１つの推定形状は、複数の点光源を使用して対応する視線方向からの１つまたは複数の画像のキャプチャに基づいて生成され、
前記オブジェクトの前記少なくとも１つの推定形状を第１のニューラルネットワークへの入力として提供することと、前記第１のニューラルネットワークは、前記オブジェクトの表現を計算するために初期化され、
前記第１のニューラルネットワークを使用して前記対応する視線方向に沿って１つまたは複数の点をサンプリングし、前記オブジェクトの表面上の複数の点を識別することと、
前記識別された複数の点の各点をレンダリングし、前記オブジェクトの３次元再構成を生成することと、を備え、ここにおいて、前記レンダリングすることは、少なくとも１つの欠損を生成し、前記第１のニューラルネットワークは、前記少なくとも１つの欠損に少なくとも部分的に基づいてトレーニングされる、コンピュータビジョンの方法。
続きを表示（約 880 文字）【請求項２】
前記表現は、前記オブジェクトの表面表現である、請求項１に記載のコンピュータビジョンの方法。
【請求項３】
前記表現は、前記オブジェクトの３次元幾何学的表現である、請求項１に記載のコンピュータビジョンの方法。
【請求項４】
前記少なくとも１つの欠損の逆伝播を実行し、前記第１のニューラルネットワークの１つまたは複数の重みを調整することをさらに備える、請求項１に記載のコンピュータビジョンの方法。
【請求項５】
前記レンダリングすることは、第２のニューラルネットワークによって実装される、請求項１に記載のコンピュータビジョンの方法。
【請求項６】
前記少なくとも１つの欠損の逆伝播を実行し、前記第２のニューラルネットワークの１つまたは複数の重みを調整することをさらに備える、請求項５に記載のコンピュータビジョンの方法。
【請求項７】
前記第２のニューラルネットワークは、前記オブジェクトの材料を学習するようにさらに構成される、請求項５に記載のコンピュータビジョンの方法。
【請求項８】
前記レンダリングすることは、前記識別された複数の点の各点における表面法線および強度のうちの少なくとも１つをレンダリングすることを含む、請求項１に記載のコンピュータビジョンの方法。
【請求項９】
前記少なくとも１つの推定形状は、第３のニューラルネットワークを使用して生成される、請求項１に記載のコンピュータビジョンの方法。
【請求項１０】
前記少なくとも１つの推定形状を受信することは、第１の推定形状および第２の推定形状を受信することを含み、前記第１の推定形状は、第１の視線方向からキャプチャされた複数の画像の第１のセットに基づいて生成され、前記第２の推定形状は、第２の視線方向からキャプチャされた複数の画像の第２のセットに基づいて生成される、請求項１に記載のコンピュータビジョンの方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、コンピュータビジョンの方法およびシステムに関する。特に、本開示は、オブジェクトの３次元再構成を実行することに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
コンピュータビジョンタスクは、画像データの取得、分析、および処理などのタスクを含む。いくつかのコンピュータビジョンシステムは、これらのタスクを実行することによってオブジェクトの３次元再構成を実行することができる。しかしながら、照度差ステレオは、コンピュータビジョンにおける古典的な問題である。照度差ステレオは、オブジェクトの表面法線、オブジェクトの深度などの局所的な幾何学的特徴を推定するための技法である。照度差ステレオは、オブジェクト上の（たとえば、光源および観察者に対する）表面の向きと、表面によって反射される光量との間の関係を利用する。
【０００３】
照度差ステレオは、オブジェクトから反射された光からオブジェクトの３次元形状を取り出すことを伴い得る。これは、特に、反射のタイプおよび材料特性（たとえば、オブジェクトの材料特性）へのその非線形依存性のために、しばしば困難であり得る。いくつかの既存の方法は、オブジェクトの形状を推定するために単一視線の照度差ステレオを使用する。そのような方法を使用して推定された３次元形状は、常に正確とは限らない。最近の進歩は、オブジェクトの３次元再構成に向かって行われてきたが、推定された形状の品質および実用性は、納得できるものではなかった。したがって、オブジェクトの正確な３次元再構成が必要である。加えて、カラーテクスチャまたは幾何学的特徴を有しないオブジェクトおよび／またはシーンの正確な３次元再構成についての満たされていない必要性が存在する。
【発明の概要】
【０００４】
一態様では、オブジェクトの３次元再構成を生成するためのコンピュータビジョンの方法が提供され、本方法は、
オブジェクトの少なくとも１つの推定形状を受信することと、少なくとも１つの推定形状は、複数の点光源を使用して対応する視線方向からの１つまたは複数の画像のキャプチャに基づいて生成され、
オブジェクトの少なくとも１つの推定形状を第１のニューラルネットワークへの入力として提供することと、第１のニューラルネットワークは、オブジェクトの表現を計算するために初期化され、
第１のニューラルネットワークを使用して対応する視線方向に沿って１つまたは複数の点をサンプリングし、オブジェクトの表面上の複数の点を識別することと、
識別された複数の点の各点をレンダリングし、ブジェクトの３次元再構成を生成することと、を備え、ここにおいて、レンダリングすることは、少なくとも１つの欠損を生成し、第１のニューラルネットワークは、少なくとも１つの欠損に少なくとも部分的に基づいてトレーニングされる。
【０００５】
一例では、表現は、オブジェクトの表面表現である。いくつかの変形形態では、オブジェクトの表面表現は、高さマップである。１つまたは複数の点をサンプリングすることは、高さマップをオブジェクトの少なくとも１つの推定形状にフィッティングすることを含み得る。いくつかの変形形態では、オブジェクトの表面表現は、ニューラル関数であり、ここにおいて、ニューラル関数は、第１のニューラルネットワークによって表現される。いくつかの変形形態では、オブジェクトの少なくとも１つの推定形状は、オブジェクトの少なくとも１つの推定される表面を備え、ここにおいて、第１のニューラルネットワークは、平面上の点をオブジェクトの表面からの高さにマッピングする。いくつかの変形形態では、第１のニューラルネットワークは、表面上の点をオブジェクトの表面深度にマッピングし得る。
【０００６】
別の例では、表現は、オブジェクトの３次元幾何学的表現である。いくつかの変形形態では、オブジェクトの少なくとも１つの推定形状は、オブジェクトの少なくとも１つの推定される３次元ジオメトリを備え、ここにおいて、第１のニューラルネットワークは、３次元空間上の点をオブジェクト上の点の符号付き距離フィールドにマッピングする。本方法は、オブジェクトの計算された３次元幾何学的表現からオブジェクトの表面表現を計算することをさらに備え得る。いくつかの変形形態では、オブジェクトの３次元幾何学的表現は、ニューラル関数であり、ここにおいて、ニューラル関数は、第１のニューラルネットワークによって表現される。
【０００７】
本方法は、少なくとも１つの欠損の逆伝播を実行し、第１のニューラルネットワークの１つまたは複数の重みを調整することをさらに備え得る。
【０００８】
一例では、レンダリングすることは、第２のニューラルネットワークによって実装される。本方法は、少なくとも１つの欠損の逆伝播を実行し、第２のニューラルネットワークの１つまたは複数の重みを調整することをさらに備え得る。第２のニューラルネットワークは、オブジェクトの材料を学習するようにさらに構成される。
【０００９】
一例では、レンダリングすることは、識別された複数の点の各点における表面法線および強度のうちの少なくとも１つをレンダリングすることをさらに備え得る。一例では、少なくとも１つの推定形状は、第３のニューラルネットワークを使用して生成される。
【００１０】
一例では、少なくとも１つの推定形状を受信することは、第１の推定形状と第２の推定形状とを受信することを備え得、第１の推定形状は、第１の視線方向からキャプチャされた複数の画像の第１のセットに基づいて生成され、第２の推定形状は、第２の視線方向からキャプチャされた複数の画像の第２のセットに基づいて生成される。本方法は、第１の推定形状と第２の推定形状とを連結し、連結された推定形状を生成することと、第１のニューラルネットワークへの入力として連結された推定形状を提供することとをさらに備え得る。
（【００１１】以降は省略されています）

関連特許