特許ウォッチ

公開番号2025121812
公報種別公開特許公報(A)
公開日2025-08-20
出願番号2024086493
出願日2024-05-28
発明の名称ポイントクラウドレジストレーション
出願人富士通株式会社
代理人個人,個人
主分類G06T 7/32 20170101AFI20250813BHJP(計算;計数)
要約【課題】ポイントクラウドレジストレーションの方法を提供する。
【解決手段】コンピュータ実装された方法は、ソース3Dポイントクラウドのソース2D投影とターゲット3Dポイントクラウドのターゲット2D投影との間の2D重なり部分を決定し、該2D重なり部分は、ソース地理的エリアとターゲット地理的エリアとの間の重なり領域に対応し、2D重なり部分を複数のセルに分割し、ソース2D投影からの少なくとも閾値数のポイントと、ターゲット2D投影からの少なくとも閾値数のポイントと、を含む少なくとも1つの重なりセルを決定し、該重なりセルについて比較プロセスを実行し、最良一致ターゲットセットを選択し、ソースセットのポイントと最良一致ターゲットセットのポイントとの間の又はその逆の間の変換を決定し、該変換を適用して、ソース3Dポイントクラウドをターゲット3Dポイントクラウドに又はその逆にレジストレーションする、ことを有する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータ実装された方法であって、
ソース３Ｄポイントクラウドのソース２Ｄ投影とターゲット３Ｄポイントクラウドのターゲット２Ｄ投影との間の２Ｄ重なり部分を決定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、ソース地理的エリア及びターゲット地理的エリアを表し、前記２Ｄ重なり部分は、前記ソース地理的エリアと前記ターゲット地理的エリアとの間の重なり領域に対応し、
前記２Ｄ重なり部分を複数のセルに分割し、前記ソース２Ｄ投影からの少なくとも第１閾値数のポイントと、前記ターゲット２Ｄ投影からの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内に入る前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内に入る前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内に入る前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ことを有するコンピュータ実装された方法。
続きを表示（約 5,800 文字）【請求項２】
コンピュータ実装された方法であって、
ソース地理的エリアとターゲット地理的エリアとの間の重なり領域に基づいて、ソース３Ｄポイントクラウドとターゲット３Ｄポイントクラウドとの間の３Ｄ重なりボリュームを推定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、前記ソース地理的エリア及び前記ターゲット地理的エリアを表し、
前記３Ｄ重なりボリュームを複数のセルに分割し、前記ソース３Ｄポイントクラウドからの少なくとも第１閾値数のポイントと、前記ターゲット３Ｄポイントクラウドからの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内にある前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内にある前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内にある前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ことを有するコンピュータ実装された方法。
【請求項３】
前記ソースセットを前記複数のターゲットセットの各々と比較することは、各ターゲットセットについて、
前記ソースセットのポイントの形状と該ターゲットセットのポイントの形状との間で第１の比較を実行して、該ターゲットセットについての前記類似スコアに対する第１の寄与を決定する、及び／又は
前記ソースセットのポイントの強度と該ターゲットセットのポイントの強度との間で第２の比較を実行して、該ターゲットセットについての前記類似スコアに対する第２の寄与を決定する、
ことを有する、請求項１又は２に記載のコンピュータ実装された方法。
【請求項４】
前記ソースセットを前記複数のターゲットセットの各々と比較することは、第１及び／又は第２の比較プロセスを実行することを有し、
前記第１の比較プロセスは、前記ソースセットのポイントの凸包を決定し、前記ソースセットのポイントの前記凸包の二面角の第１分布を決定し、各ターゲットセットについて、
該ターゲットセットのポイントの凸包を決定し、
該ターゲットセットのポイントの前記凸包の二面角の第２分布を決定し、
二面角の前記第１分布と前記第２分布との間の差異を計算し、
前記計算された差異に基づいて、該ターゲットセットについての前記類似スコアに対する寄与を追加する、ことを有し、
前記第２の比較プロセスは、前記ソースセット内のポイントの強度の第１分布を決定し、各ターゲットセットについて、
該ターゲットセット内のポイントの強度の第２分布を決定し、
強度の前記第１分布と前記第２分布との間の距離尺度を計算し、
前記計算された距離尺度に基づいて、該ターゲットセットについての前記類似スコアに対する寄与を追加する、ことを有する、
請求項１又は２に記載のコンピュータ実装された方法。
【請求項５】
複数の重なりセルが決定された場合に、
各重なりセルについて前記比較プロセスを実行し、
前記最良一致ターゲットセットのうちの少なくとも１つの最良一致ターゲットセットのポイントを有する最終ターゲットセットのポイントを決定し、対応する少なくとも１つのソースセットのポイントを有する最終ソースセットのポイントを決定し、
前記最終ソースセットのポイントと前記最終ターゲットセットのポイントとの間で前記変換を決定する、
ことを有する、請求項１又は２に記載のコンピュータ実装された方法。
【請求項６】
最終ターゲットセットのポイントを決定することは、前記最良一致ターゲットセットのうち、閾値スコアを上回る類似スコアを有する又は最も高い類似スコアを有する少なくとも１つを選択し、前記選択された少なくとも１つの最良一致ターゲットセットのポイントを含むものとして前記最終ターゲットセットのポイントを決定する、ことを有する、請求項５に記載のコンピュータ実装された方法。
【請求項７】
コンピュータ上で実行されるときに該コンピュータに方法を実行させるコンピュータプログラムであって、当該方法は、
ソース３Ｄポイントクラウドのソース２Ｄ投影とターゲット３Ｄポイントクラウドのターゲット２Ｄ投影との間の２Ｄ重なり部分を決定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、ソース地理的エリア及びターゲット地理的エリアを表し、前記２Ｄ重なり部分は、前記ソース地理的エリアと前記ターゲット地理的エリアとの間の重なり領域に対応し、
前記２Ｄ重なり部分を複数のセルに分割し、前記ソース２Ｄ投影からの少なくとも第１閾値数のポイントと、前記ターゲット２Ｄ投影からの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内に入る前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内に入る前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内に入る前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ことを有する、コンピュータプログラム。
【請求項８】
コンピュータ上で実行されるときに該コンピュータに方法を実行させるコンピュータプログラムであって、当該方法は、
ソース地理的エリアとターゲット地理的エリアとの間の重なり領域に基づいて、ソース３Ｄポイントクラウドとターゲット３Ｄポイントクラウドとの間の３Ｄ重なりボリュームを推定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、前記ソース地理的エリア及び前記ターゲット地理的エリアを表し、
前記３Ｄ重なりボリュームを複数のセルに分割し、前記ソース３Ｄポイントクラウドからの少なくとも第１閾値数のポイントと、前記ターゲット３Ｄポイントクラウドからの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内にある前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内にある前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内にある前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ことを有する、コンピュータプログラム。
【請求項９】
メモリと、該メモリに接続されたプロセッサと、を有する情報処理装置であって、前記プロセッサが、
ソース３Ｄポイントクラウドのソース２Ｄ投影とターゲット３Ｄポイントクラウドのターゲット２Ｄ投影との間の２Ｄ重なり部分を決定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、ソース地理的エリア及びターゲット地理的エリアを表し、前記２Ｄ重なり部分は、前記ソース地理的エリアと前記ターゲット地理的エリアとの間の重なり領域に対応し、
前記２Ｄ重なり部分を複数のセルに分割し、前記ソース２Ｄ投影からの少なくとも第１閾値数のポイントと、前記ターゲット２Ｄ投影からの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内に入る前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内に入る前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内に入る前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ように構成される、情報処理装置。
【請求項１０】
メモリと、該メモリに接続されたプロセッサと、を有する情報処理装置であって、前記プロセッサが、
ソース地理的エリアとターゲット地理的エリアとの間の重なり領域に基づいて、ソース３Ｄポイントクラウドとターゲット３Ｄポイントクラウドとの間の３Ｄ重なりボリュームを推定し、前記ソース３Ｄポイントクラウド及び前記ターゲット３Ｄポイントクラウドは、それぞれ、前記ソース地理的エリア及び前記ターゲット地理的エリアを表し、
前記３Ｄ重なりボリュームを複数のセルに分割し、前記ソース３Ｄポイントクラウドからの少なくとも第１閾値数のポイントと、前記ターゲット３Ｄポイントクラウドからの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し、
前記重なりセルについて比較プロセスを実行し、当該比較プロセスは、
前記重なりセル内にある前記ターゲット３Ｄポイントクラウドの第１ターゲットセットのポイント、並びに前記重なりセルに隣接するセル内にある前記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なるターゲットセットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、
前記重なりセル内にある前記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、
前記ソースセットを前記複数のターゲットセットの各々と比較して、前記複数のターゲットセットそれぞれについての複数の類似スコアを決定し、
前記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、
前記ソースセットのポイントと前記最良一致ターゲットセットのポイントとの間の又は前記最良一致ターゲットセットのポイントと前記ソースセットのポイントとの間の変換を決定し、
前記変換を適用して、前記ソース３Ｄポイントクラウドを前記ターゲット３Ｄポイントクラウドに又は前記ターゲット３Ｄポイントクラウドを前記ソース３Ｄポイントクラウドにレジストレーションする、
ように構成される、情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本出願は、ポイントクラウドレジストレーションに関し、特に、コンピュータ実装された方法、コンピュータプログラム、及び情報プログラミング装置に関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
ポイントクラウドアライメントとしても知られるポイントクラウドレジストレーションのタスクは、共通座標系において複数のポイントクラウドをレジストレーションしたり、１つ以上のポイントクラウドを別のポイントクラウドと又は別のポイントクラウドにアライメントしたりするプロセスである。レジストレーションは、別のポイントクラウドとのアライメントのために１つのポイントクラウドに必要な変換を推定し、推定された変換を適用することを含み得る。ポイントクラウドレジストレーションは、複数のより小さいポイントクラウドから、より大きいポイントクラウドが構築されることを可能にする。
【０００３】
以上に鑑み、ポイントクラウドレジストレーション方法が望まれる。
【発明の概要】
【０００４】
第１の態様の一実施形態によれば、コンピュータ実装された方法がここに開示され、当該コンピュータ実装された方法は、ソース３Ｄ（３次元）ポイントクラウドのソース２Ｄ（２次元）投影とターゲット３Ｄポイントクラウドのターゲット２Ｄ投影との間の２Ｄ重なり部分を決定し、上記ソース３Ｄポイントクラウド及び上記ターゲット３Ｄポイントクラウドは、それぞれ、ソース地理的エリア及びターゲット地理的エリアを表し、上記２Ｄ重なり部分は、上記ソース地理的エリアと上記ターゲット地理的エリアとの間の重なり領域に対応し、上記２Ｄ重なり部分を複数のセルに分割し、上記ソース２Ｄ投影からの少なくとも第１閾値数のポイントと、上記ターゲット２Ｄ投影からの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し（又は、上記ソース２Ｄ投影からの少なくとも第１閾値数のポイントと、上記ターゲット２Ｄ投影からの少なくとも第２閾値数のポイントと、を含む少なくとも１つのセルを、少なくとも１つの重なりセルとして決定し）、上記（又は上記）重なりセルについて比較プロセスを実行し、（上記重なりセルについての）当該比較プロセスは、（上記ターゲット２Ｄ投影において）上記重なりセル内に入る上記ターゲット３Ｄポイントクラウドの第１（ターゲット）セットのポイント、並びに（上記ターゲット２Ｄ投影において）上記重なりセルに隣接する／取り囲むセル内に入る上記ターゲット３Ｄポイントクラウドの第２ターゲットセットのポイント及び更なる（ターゲット）セットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、（上記ソース２Ｄ投影において）上記重なりセル内に入る上記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、上記ソースセットを上記複数のターゲットセットの各々と比較して、上記複数のターゲットセットそれぞれについての複数の類似スコアを決定し（各類似スコアが、上記ソースセットと上記ターゲットセットとの間の類似性を定量化し）、上記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、上記ソースセットのポイントと上記最良一致ターゲットセットのポイントとの間の又は上記最良一致ターゲットセットのポイントと上記ソースセットのポイントとの間の変換（行列）を決定し、上記変換（行列）を（上記ソース３Ｄポイントクラウドに）適用して、上記ソース３Ｄポイントクラウドを上記ターゲット３Ｄポイントクラウドに又は上記ターゲット３Ｄポイントクラウドを上記ソース３Ｄポイントクラウドにレジストレーションする、ことを有する。
【０００５】
第２の態様の一実施形態によれば、コンピュータ実装された方法がここに開示され、当該コンピュータ実装された方法は、ソース地理的エリアとターゲット地理的エリアとの間の重なり領域に基づいて、ソース３Ｄ（３次元）ポイントクラウドとターゲット３Ｄポイントクラウドとの間の３Ｄ重なりボリュームを推定し、上記ソース３Ｄポイントクラウド及び上記ターゲット３Ｄポイントクラウドは、それぞれ、上記ソース地理的エリア及び上記ターゲット地理的エリアを表し、上記３Ｄ重なりボリュームを複数のセルに分割し、上記ソース３Ｄポイントクラウドからの少なくとも第１閾値数のポイントと、上記ターゲット３Ｄポイントクラウドからの少なくとも第２閾値数のポイントと、を含む少なくとも１つの重なりセルを決定し（又は、上記ソース３Ｄポイントクラウドからの少なくとも第１閾値数のポイントと、上記ターゲット３Ｄポイントクラウドからの少なくとも第２閾値数のポイントと、を含む少なくとも１つのセルを、少なくとも１つの重なりセルとして決定し）、上記（又は上記）重なりセルについて比較プロセスを実行し、（上記重なりセルについての）当該比較プロセスは、上記重なりセル内にある上記ターゲット３Ｄポイントクラウドの第１（ターゲット）セットのポイント、並びに上記重なりセルに隣接する／取り囲むセル内にある上記ターゲット３Ｄポイントクラウドの第２（ターゲット）セットのポイント及び更なる（ターゲット）セットのポイント、をそれぞれ有する複数のターゲットセットのポイントを決定し、上記重なりセル内にある上記ソース３Ｄポイントクラウドのポイントを有するソースセットのポイントを決定し、上記ソースセットを上記複数のターゲットセットの各々と比較して、上記複数のターゲットセットそれぞれについての複数の類似スコアを決定し（各類似スコアが、上記ソースセットと上記ターゲットセットとの間の類似性を定量化し）、上記類似スコアに基づいて、最良一致ターゲットセットを選択する、ことを有し、上記ソースセットのポイントと上記最良一致ターゲットセットのポイントとの間の又は上記最良一致ターゲットセットのポイントと上記ソースセットのポイントとの間の変換（行列）を決定し、上記変換（行列）を（上記ソース３Ｄポイントクラウド）適用して、上記ソース３Ｄポイントクラウドを上記ターゲット３Ｄポイントクラウドに又は上記ターゲット３Ｄポイントクラウドを上記ソース３Ｄポイントクラウドにレジストレーションする、ことを有する。
【０００６】
任意の態様／実施形態に関する特徴が、任意の他の態様／実施形態に適用されてもよい。
【図面の簡単な説明】
【０００７】
単なる例として図面が参照され得る。
ポイントクラウドレジストレーションを理解するのに有用な図である。
比較となる方法を示す図である。
方法を示すフローチャートである。
方法を示す図である。
方法を示す図である。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
方法を示すフローチャートである。
装置を示す図である。
【発明を実施するための形態】
【０００８】
上述のように、ポイントクラウドレジストレーションのタスクは、共通座標系において複数のポイントクラウドをアライメントするプロセスである。アライメントされるポイントクラウドをソースポイントクラウドと呼ぶことができ、（それとソースポイントクラウドがアライメントされることになる）別のポイントクラウドを基準ポイントクラウド又はターゲットポイントクラウドと呼ぶことができる。
【０００９】
ポイントクラウドレジストレーションは、ターゲットポイントクラウドとのアライメントのためにソースポイントクラウドに必要な変換を推定し、ソースポイントクラウドをターゲットポイントクラウドの座標系に持ち込むために、すなわち、ターゲットポイントクラウドとのアライメントのために、ソースポイントクラウドに変換を適用することを含む。
【００１０】
一用途例として、例えばＬｉＤＡＲ（Light Detection and Ranging，光検出及び測距）などのセンサから取得される連続したポイントクラウドフレームをレジストレーションすることにより、ロボット／車両は、それらの位置及び向きを正確に推定し、自律的に移動することができる。３Ｄポイントクラウドレジストレーションの更なる用途は、自律運転、一般的な３Ｄマッピング及びモデリング、ロボット工学、無人航空機、並びに（例えば、エッジデバイス上での）３Ｄマップの生成及び／又はリアルタイム更新を含む。
（【００１１】以降は省略されています）

関連特許