特許ウォッチ

公開番号2025075560
公報種別公開特許公報(A)
公開日2025-05-15
出願番号2023186822
出願日2023-10-31
発明の名称位置推定システム、位置推定装置、位置推定方法及び位置推定プログラム
出願人グローリー株式会社
代理人個人,個人
主分類G06T 7/70 20170101AFI20250508BHJP(計算;計数)
要約【課題】三次元空間における物体の位置を効率よく推定することが課題である。
【解決手段】位置推定システム10は、位置推定装置20と3台の撮像装置30を有し、3台の撮像装置30を各撮像装置30の結像位置が三角形を形成する位置に配置する。そして、位置推定装置20は、3台の撮像装置30からの画像を取得し、画像座標からステレオ球面画像座標に変換後、各ステレオ球面画像座標においてエピポーラ拘束条件を満足するか否かを判定し、エピポーラ拘束条件を満足した場合に、判定した座標点を物体Pの座標位置であると推定する。
【選択図】図1
特許請求の範囲【請求項１】
３台の撮像装置と、各撮像装置により撮像された画像に基づいて物体の三次元空間における位置を推定する位置推定装置とを有する位置推定システムであって、
前記３台の撮像装置は、
各撮像装置の結像位置が三角形を形成する位置に配置され、
前記位置推定装置は、
各撮像装置の画像座標における前記物体の座標点をステレオ球面画像座標における座標点にそれぞれ変換する座標変換手段と、
前記ステレオ球面画像座標における２つの撮像装置の座標点が、エピポーラ拘束を満たすか否かを判定する判定手段と、
前記判定手段により前記エピポーラ拘束を満たすと判定された座標点を前記物体の座標位置であると推定する推定手段と
を備えたことを特徴とする位置推定システム。
続きを表示（約 2,200 文字）【請求項２】
前記座標変換手段は、
第１の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ１に変換し、
第２の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ２に変換し、
第３の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ３に変換する
ことを特徴とする請求項１に記載の位置推定システム。
【請求項３】
前記判定手段は、
前記第１の撮像装置の結像位置を原点Ｃ１としたステレオ球面画像座標系のｙｚ平面と前記座標点ｐ１を通る大円との交点をなす座標点ｐ’１と、前記第２の撮像装置の結像位置を原点Ｃ２としたステレオ球面画像座標系のｙｚ平面と前記座標点ｐ２を通る大円との交点をなす座標点ｐ’２とが等しく、かつ、前記座標点ｐ’１と前記ステレオ球面画像座標の原点とを結ぶ直線とｙ軸とが成す角度β１と、前記座標点ｐ’２と前記ステレオ球面画像座標の原点とを結ぶ直線とｙ軸とが成す角度β２とが等しい場合に、前記ステレオ球面画像座標における前記第１の撮像装置の前記座標点ｐ’１と前記第２の撮像装置の前記座標点ｐ’２とがエピポーラ拘束を満たすと判定することを特徴とする請求項２に記載の位置推定システム。
【請求項４】
前記位置推定装置は、
各撮像装置で撮像された人物を前記物体として骨格の推定を行う骨格推定手段をさらに備え、
前記推定手段は、
前記骨格推定手段により推定された骨格の首又は手首の座標位置を推定することを特徴とする請求項１に記載の位置推定システム。
【請求項５】
前記位置推定装置は、
前記推定手段により推定された手首の座標位置と、所定の物品が取り出された場合に得られる位置情報に基づいて、前記物品の取り出しの有無を検出する物品取出検出手段と、
前記物品取出検出手段による前記物品の取り出しが検出されたならば、前記物品の位置と前記手首の位置とが最も近い人物と取り出された前記物品との紐付けを行う紐付け手段と
をさらに備えたことを特徴とする請求項４に記載の位置推定システム。
【請求項６】
前記位置推定装置は、
各撮像装置で撮像された人物を前記物体として骨格の推定を行う骨格推定手段をさらに備え、
前記骨格推定手段により推定された骨格の首、肘及び手首の座標位置を推定する第２の推定手段と、
前記首、肘及び手首の座標位置と物品との平均距離と分散に基づいて尤度を算出する尤度算出手段と、
前記尤度算出手段による算出結果に基づいて、前記物品と人物との紐付けを行う第２の紐付け手段と
を備えたことを特徴とする請求項１に記載の位置推定システム。
【請求項７】
各撮像装置の結像位置が三角形を形成する位置に配置され３台の撮像装置により撮像された画像に基づいて物体の三次元空間における位置を推定する位置推定装置であって、
各撮像装置の画像座標における前記物体の座標点をステレオ球面画像座標における座標点にそれぞれ変換する座標変換手段と、
前記ステレオ球面画像座標における２つの撮像装置の座標点が、エピポーラ拘束を満たすか否かを判定する判定手段と、
前記判定手段により前記エピポーラ拘束を満たすと判定された座標点を前記物体の座標位置であると推定する推定手段と
を備えたことを特徴とする位置推定装置。
【請求項８】
３台の撮像装置と、各撮像装置により撮像された画像に基づいて物体の三次元空間における位置を推定する位置推定装置とを有する位置推定システムで実行される位置推定方法であって、
前記３台の撮像装置が、各撮像装置の結像位置が三角形を形成する位置に配置され、
前記位置推定装置が、各撮像装置の画像座標における前記物体の座標点をステレオ球面画像座標における座標点にそれぞれ変換する座標変換工程と、
前記位置推定装置が、前記ステレオ球面画像座標における２つの撮像装置の座標点が、エピポーラ拘束を満たすか否かを判定する判定工程と、
前記位置推定装置が、前記判定工程により前記エピポーラ拘束を満たすと判定された座標点を前記物体の座標位置であると推定する推定工程と
を含むことを特徴とする位置推定方法。
【請求項９】
各撮像装置の結像位置が三角形を形成する位置に配置され３台の撮像装置により撮像された画像に基づいて物体の三次元空間における位置を推定する位置推定装置で実行される位置推定プログラムであって、
各撮像装置の画像座標における前記物体の座標点をステレオ球面画像座標における座標点にそれぞれ変換する座標変換手順と、
前記ステレオ球面画像座標における２つの撮像装置の座標点が、エピポーラ拘束を満たすか否かを判定する判定手順と、
前記判定手順により前記エピポーラ拘束を満たすと判定された座標点を前記物体の座標位置であると推定する推定手順と
をコンピュータに実行させることを特徴とする位置推定プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、三次元空間における物体の位置を効率よく推定する位置推定システム、位置推定装置、位置推定方法及び位置推定プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、無人店舗において商品の無人販売を行う場合に、どの顧客がどの商品を手に取ったのかを特定することが重要となる。このため、店舗で商品を購入する際に、顧客が商品棚から商品を取出して精算所に行くだけで、顧客がどの商品を購入しようとしているかを自動で判定し、精算を自動で行うことができる技術が知られている。
【０００３】
例えば特許文献１には、店内に設けられた複数のカメラ（距離センサ）により顧客を追跡して顧客の位置情報を取得し、商品棚に設けられた重量センサからどの商品が取り出されたかを検出し、顧客と商品を紐づけて管理することにより、顧客が購入しようとしている商品を特定し、係員等が居なくても自動で精算が行えるよう構成した情報処理システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特許第７２２５４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１のものは、複数のカメラ（距離センサ）により顧客の位置情報を正確に取得することが難しいという問題がある。特に、複数台のカメラでそれぞれ撮像した物体の位置がずれる場合に、同じ物体を指すか否かの判定に処理時間を要することになる。
【０００６】
本発明は、上記従来技術による問題点（課題）を解決するためになされたものであって、三次元空間における物体の位置を効率よく推定することができる位置推定システム、位置推定装置、位置推定方法及び位置推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明は、３台の撮像装置と、各撮像装置により撮像された画像に基づいて物体の三次元空間における位置を推定する位置推定装置とを有する位置推定システムであって、前記３台の撮像装置は、各撮像装置の結像位置が三角形を形成する位置に配置され、前記位置推定装置は、各撮像装置の画像座標における前記物体の座標点をステレオ球面画像座標における座標点にそれぞれ変換する座標変換手段と、前記ステレオ球面画像座標における２つの撮像装置の座標点が、エピポーラ拘束を満たすか否かを判定する判定手段と、前記判定手段により前記エピポーラ拘束を満たすと判定された座標点を前記物体の座標位置であると推定する推定手段とを備えたことを特徴とする。
【０００８】
また、本発明は、上記発明において、前記座標変換手段は、第１の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ
１
に変換し、第２の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ
２
に変換し、第３の撮像装置で撮像された画像座標における前記物体の座標点を前記ステレオ球面画像座標における座標点ｐ
３
に変換することを特徴とする。
【０００９】
また、本発明は、上記発明において、前記判定手段は、前記第１の撮像装置の結像位置を原点Ｃ
１
としたステレオ球面画像座標系のｙｚ平面と前記座標点ｐ
１
を通る大円との交点をなす座標点ｐ’
１
と、前記第２の撮像装置の結像位置を原点Ｃ
２
としたステレオ球面画像座標系のｙｚ平面と前記座標点ｐ
２
を通る大円との交点をなす座標点ｐ’
２
とが等しく、かつ、前記座標点ｐ’
１
と前記ステレオ球面画像座標の原点とを結ぶ直線とｙ軸とが成す角度β
１
と、前記座標点ｐ’
２
と前記ステレオ球面画像座標の原点とを結ぶ直線とｙ軸とが成す角度β
２
とが等しい場合に、前記ステレオ球面画像座標における前記第１の撮像装置の前記座標点ｐ’
１
と前記第２の撮像装置の前記座標点ｐ’
２
とがエピポーラ拘束を満たすと判定することを特徴とする。
【００１０】
また、本発明は、上記発明において、前記位置推定装置は、各撮像装置で撮像された人物を前記物体として骨格の推定を行う骨格推定手段をさらに備え、前記推定手段は、前記骨格推定手段により推定された骨格の首又は手首の座標位置を推定することを特徴とする。
（【００１１】以降は省略されています）

関連特許