特許ウォッチ

公開番号2025117916
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2024012898
出願日2024-01-31
発明の名称計測システム及び計測プログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/50 20170101AFI20250805BHJP(計算;計数)
要約【課題】簡易な構成で短時間にかつ詳細な3次元形状の評価を行うことができる計測システム及び計測プログラムを提供する。
【解決手段】計測システムは、領域分割部と、復元部と、演算部とを備える。領域分割部は、複数の計測対象を画像内に含むカラー画像及び深度画像のうちの少なくともカラー画像をそれぞれの計測対象の領域に分割することでそれぞれの分割された領域の位置情報を得る。復元部は、深度画像から点群データを生成し、生成した点群データをそれぞれの分割された領域の位置情報に基づいてそれぞれの計測対象の点群データである第1の点群データに分割し、それぞれの第1の点群データからそれぞれの計測対象の3次元形状を復元する。演算部は、それぞれの計測対象の3次元形状に基づき、それぞれの計測対象の3次元形状を評価するためのパラメータを演算する。
【選択図】図1
特許請求の範囲【請求項１】
複数の計測対象を画像内に含むカラー画像及び深度画像のうちの少なくとも前記カラー画像をそれぞれの計測対象の領域に分割することでそれぞれの分割された領域の位置情報を得る領域分割部と、
前記深度画像から点群データを生成し、生成した点群データを前記それぞれの分割された領域の位置情報に基づいてそれぞれの計測対象の点群データである第１の点群データに分割し、それぞれの前記第１の点群データからそれぞれの計測対象の３次元形状を復元する復元部と、
前記それぞれの計測対象の３次元形状に基づき、前記それぞれの計測対象の３次元形状を評価するためのパラメータを演算する演算部と、
を具備する計測システム。
続きを表示（約 630 文字）【請求項２】
前記領域分割部は、さらに前記深度画像をそれぞれの計測対象の領域に分割することで前記それぞれの分割された領域の位置情報を得る、
請求項１に記載の計測システム。
【請求項３】
前記計測対象の３次元形状を評価するためのパラメータに基づいて前記計測対象の３次元形状の評価結果を表示する表示制御部をさらに具備する請求項１に記載の計測システム。
【請求項４】
前記計測対象の３次元形状の評価結果は、それぞれの計測対象の３軸径、表面積、体積及び球形度の分布を表すヒストグラムを含む、
請求項３に記載の計測システム。
【請求項５】
複数の計測対象を画像内に含むカラー画像及び深度画像のうちの少なくとも前記カラー画像をそれぞれの計測対象の領域に分割することでそれぞれの分割された領域の位置情報を得ることと、
前記深度画像から点群データを生成することと、
生成した点群データを前記それぞれの分割された領域の位置情報に基づいてそれぞれの計測対象の点群データである第１の点群データに分割することと、
それぞれの前記第１の点群データからそれぞれの計測対象の３次元形状を復元することと、
前記それぞれの計測対象の３次元形状に基づき、前記それぞれの計測対象の３次元形状を評価するためのパラメータを演算することと、
をプロセッサに実行させるための計測プログラム。

発明の詳細な説明【技術分野】
【０００１】
実施形態は、計測システム及び計測プログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
岩石等の不定形、大量、かつランダムに配置された計測対象の形状及び分布を高速にかつ詳細に計測できることが求められている。岩石の場合には、ふるい分け試験といった計測手法が知られている。この他、岩石の場合には、ベルトコンベアと画像センサを組み合わせる計測手法も知られている。これらの計測手法では、一度に大量の計測対象の計測が行われ得る反面、大規模な設備が必要である。また、高精度な形状の計測手法として、個々の計測対象を１つずつ取り出してその３次元形状を計測手法もある。しかしながら、個々の計測対象を１つずつ取り出す計測手法では、詳細な計測が可能となる反面、計測時間は長くなり易い。
【先行技術文献】
【特許文献】
【０００３】
特許第６６７２８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実施形態は、簡易な構成で短時間にかつ詳細な３次元形状の評価を行うことができる計測システム及び計測プログラムを提供する。
【課題を解決するための手段】
【０００５】
一態様の計測システムは、領域分割部と、復元部と、演算部とを備える。領域分割部は、複数の計測対象を画像内に含むカラー画像及び深度画像のうちの少なくともカラー画像をそれぞれの計測対象の領域に分割することでそれぞれの分割された領域の位置情報を得る。復元部は、深度画像から点群データを生成し、生成した点群データをそれぞれの分割された領域の位置情報に基づいてそれぞれの計測対象の点群データである第１の点群データに分割し、それぞれの第１の点群データからそれぞれの計測対象の３次元形状を復元する。演算部は、それぞれの計測対象の３次元形状に基づき、それぞれの計測対象の３次元形状を評価するためのパラメータを演算する。
【図面の簡単な説明】
【０００６】
図１は、実施形態に係る計測システムの一例の構成を示すブロック図である。
図２Ａは、領域分割モデルから出力されるマスクの例を示す図である。
図２Ｂは、領域分割モデルから出力されるマスクの例を示す図である。
図３は、データセットの一例を示す図である。
図４は、計測システムのハードウェア構成の一例を示す図である。
図５は、領域分割モデルの学習動作を示すフローチャートである。
図６は、学習済みの領域分割モデルを用いた計測システムの計測処理について示すフローチャートである。
図７Ａは、ｉ番目の計測対象についての点群データの例を示す図である。
図７Ｂは、復元処理の第１の例を示す図である。
図７Ｃは、復元処理の第２の例を示す図である。
図８は、表示装置へのサマリ表示の例を示す図である。
図９は、評価処理について示すフローチャートである。
図１０は、表示装置への評価結果の表示の例を示す図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して実施形態を説明する。図１は、実施形態に係る計測システムの一例の構成を示すブロック図である。図１に示すように、計測システム１は、領域分割部１１と、復元部１２と、演算部１３と、表示制御部１４とを有している。計測システム１は、カメラ２と通信できるように構成されている。計測システム１とカメラ２との通信は、無線で行われてもよいし、有線で行われてもよい。また、計測システム１は、表示装置３と通信できるように構成されている。計測システム１と表示装置３との通信は、無線で行われてもよいし、有線で行われてもよい。
【０００８】
カメラ２は、計測対象Ｏの３次元形状に関わる情報を計測するように構成されたカメラである。実施形態における計測対象は、バラ積みされた多数の岩石等の不定形、大量かつランダムに配置される物体である。以下では、計測対象は岩石であるとして説明が続けられる。カメラ２は、例えばＲＧＢ－Ｄカメラである。ＲＧＢ－Ｄカメラは、ＲＧＢ－Ｄ画像を計測できるように構成されたカメラである。ＲＧＢ－Ｄ画像は、深度画像（Depth image）とカラー画像（RGB color image）を含む。深度画像は、計測対象の各点の深度を画素の値として有する画像である。カラー画像は、計測対象の各点のＲＧＢ値を画素の値として有する画像である。実施形態では、カメラ２は、その画角内に複数の計測対象Ｏを収めるように計測を実施する。したがって、カメラ２によって計測されるカラー画像及び深度画像も複数の計測対象Ｏを含むカラー画像及び深度画像である。カメラ２は、計測対象Ｏの３次元形状に関わる情報を計測できればＲＧＢ－Ｄカメラでなくてもよい。例えば、カメラ２は、ステレオカメラ等であってもよい。
【０００９】
表示装置３は、液晶ディスプレイ及び有機ＥＬディスプレイといった表示装置である。表示装置３は、計測システム１から転送されたデータに基づいて各種の画像を表示する。例えば、表示装置３は、計測対象の３次元形状の解析情報を表示する。
【００１０】
領域分割部１１は、カメラ２からカラー画像と深度画像を取得し、取得したカラー画像を実体領域に分割し、それぞれの実体領域の位置情報を出力する。領域分割部１１は、データベース（ＤＢ）１５に記憶されている領域分割モデル１５１を用いてカラー画像を実体領域に分割する。実体領域は、入力されたカラー画像に写っているそれぞれの計測対象の領域である。領域分割モデル１５１は、ＳＯＬＯ（Segmenting Objects by Locations）、ＭａｓｋＲ－ＣＮＮ（Region-based Convolutional Neural Network）等の深層学習を利用したマスク推論モデルであり得る。マスク推論モデルは、入力されたカラー画像におけるそれぞれの実体領域の位置情報を表すマスクを推論するように構成されたモデルである。１つの実体領域についてのマスクは、入力されたカラー画像に写っている１つの計測対象の領域を白領域とし、残りの領域を黒領域とするマスクである。図２Ａ及び図２Ｂは、領域分割モデル１５１から出力されるマスクの例を示している。図２Ａは、あるカラー画像に写っている計測対象Ｏ１だけを白領域として残すマスクである。図２Ｂは、同じカラー画像に写っている計測対象Ｏ１とは異なる計測対象Ｏ２だけを白領域として残すマスクである。領域分割モデル１５１は、このようなマスクを入力されたカラー画像の実体領域の分だけ出力し得る。
（【００１１】以降は省略されています）

関連特許