特許ウォッチ

公開番号2025124354
公報種別公開特許公報(A)
公開日2025-08-26
出願番号2024020347
出願日2024-02-14
発明の名称骨格推定装置、骨格推定方法、及びプログラム
出願人トヨタ自動車株式会社,株式会社豊田自動織機,株式会社アイシン,株式会社デンソー
代理人個人
主分類G06T 7/00 20170101AFI20250819BHJP(計算;計数)
要約【課題】対象物の一部が障害物の影に隠れた状態でもその対象物の骨格を精度良く推定できること。
【解決手段】骨格推定装置は、対象物及び障害物を含む画像情報を取得する画像取得手段と、対象物及び障害物の距離情報を取得する距離取得手段と、対象物及び障害物の画像情報に基づいて、対象物の各骨格点の位置を推定する骨格点推定手段と、対象物及び障害物の画像情報に基づいて、推定された複数の骨格点を、障害物に隠れている隠れ骨格点と、障害物に隠れていない非隠れ骨格点と、に判別する骨格点判別手段と、判別された隠れ骨格点の距離情報を推定する距離推定手段と、取得された距離情報から、判別された非隠れ骨格点に対応する距離情報を取得し、取得した非隠れ骨格点の距離情報と、推定された隠れ骨格点の距離情報と、を統合することで、対象物の骨格を推定する骨格推定手段と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得する画像取得手段と、
前記対象物及び障害物の距離情報を取得する距離取得手段と、
前記画像取得手段により取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定する骨格点推定手段と、
前記画像取得手段により取得された対象物及び障害物の画像情報に基づいて、前記骨格点推定手段により推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別する骨格点判別手段と、
前記骨格点判別手段により判別された隠れ骨格点の距離情報を推定する距離推定手段と、
前記距離取得手段に取得された距離情報から、前記骨格点判別手段により判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記距離推定手段により推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定する骨格推定手段と、
を備える、骨格推定装置。
続きを表示（約 1,100 文字）【請求項２】
請求項１記載の骨格推定装置であって、
前記骨格点判別手段は、
前記画像取得手段により取得された対象物及び障害物の画像情報に対し、セグメンテーション処理を行い、
前記障害物のセグメンテーションに含まれる骨格点を前記隠れ骨格点とし、前記対象物のセグメンテーションに含まれる骨格点を前記非隠れ骨格点として、判別する、
骨格手推定装置。
【請求項３】
請求項１記載の骨格推定装置であって、
前記距離推定手段は、前記骨格点判別手段により判別された隠れ骨格点の距離情報を、線形補完処理、３次元モデル、又は、別のセンサの情報に基づいて、推定する、
骨格推定装置。
【請求項４】
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得するステップと、
前記対象物及び障害物の距離情報を取得するステップと、
前記取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定するステップと、
前記取得された対象物及び障害物の画像情報に基づいて、前記推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別するステップと、
前記判別された隠れ骨格点の距離情報を推定するステップと、
前記取得された距離情報から、前記判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定するステップと、
を含む、骨格推定方法。
【請求項５】
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得する処理と、
前記対象物及び障害物の距離情報を取得する処理と、
前記取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定する処理と、
前記取得された対象物及び障害物の画像情報に基づいて、前記推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別する処理と、
前記判別された隠れ骨格点の距離情報を推定する処理と、
前記取得された距離情報から、前記判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定する処理と、
をコンピュータに実行させる、プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、対象物の骨格を推定する骨格推定装置、骨格推定方法、及びプログラムに関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
人の胴体が障害物の影に隠れるような場合、その人の腕や足などの骨格の位置に基づいて胴体の骨格を推定する骨格推定装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１７／１８７６４１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記骨格推定装置は、例えば、隠れる部位が胴体の場合に、その胴体の骨格を推定できるが、腕や足が隠れてしまった場合、その腕や足の骨格を推定することができない。
【０００５】
本開示は、このような問題点を解決するためになされたものであり、対象物の一部が障害物の影に隠れた状態でもその対象物の骨格を精度良く推定できる骨格推定装置、骨格推定方法、及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本開示の一態様は、
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得する画像取得手段と、
前記対象物及び障害物の距離情報を取得する距離取得手段と、
前記画像取得手段により取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定する骨格点推定手段と、
前記画像取得手段により取得された対象物及び障害物の画像情報に基づいて、前記骨格点推定手段により推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別する骨格点判別手段と、
前記骨格点判別手段により判別された隠れ骨格点の距離情報を推定する距離推定手段と、
前記距離取得手段に取得された距離情報から、前記骨格点判別手段により判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記距離推定手段により推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定する骨格推定手段と、
を備える、骨格推定装置
である。
この一態様において、
前記骨格点判別手段は、
前記画像取得手段により取得された対象物及び障害物の画像情報に対し、セグメンテーション処理を行い、
前記障害物のセグメンテーションに含まれる骨格点を前記隠れ骨格点とし、前記対象物のセグメンテーションに含まれる骨格点を前記非隠れ骨格点として、判別してもよい。
この一態様において、
前記距離推定手段は、前記骨格点判別手段により判別された隠れ骨格点の距離情報を、線形補完処理、３次元モデル、又は、別のセンサの情報に基づいて、推定してもよい。
この一態様において、
前記対象物は作業を行う作業者であり、
前記骨格推定手段は、前記作業者の骨格を推定してもよい。
上記目的を達成するための本開示の一態様は、
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得するステップと、
前記対象物及び障害物の距離情報を取得するステップと、
前記取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定するステップと、
前記取得された対象物及び障害物の画像情報に基づいて、前記推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別するステップと、
前記判別された隠れ骨格点の距離情報を推定するステップと、
前記取得された距離情報から、前記判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定するステップと、
を含む、骨格推定方法
である。
上記目的を達成するための本開示の一態様は、
対象物及び該対象物の少なくとも一部を隠す障害物を含む画像情報を取得する処理と、
前記対象物及び障害物の距離情報を取得する処理と、
前記取得された対象物及び障害物の画像情報に基づいて、該対象物の各骨格点の位置を推定する処理と、
前記取得された対象物及び障害物の画像情報に基づいて、前記推定された複数の骨格点を、前記障害物に隠れている隠れ骨格点と、前記障害物に隠れていない非隠れ骨格点と、に判別する処理と、
前記判別された隠れ骨格点の距離情報を推定する処理と、
前記取得された距離情報から、前記判別された非隠れ骨格点に対応する距離情報を取得し、該取得した非隠れ骨格点の距離情報と、前記推定された隠れ骨格点の距離情報と、を統合することで、前記対象物の骨格を推定する処理と、
をコンピュータに実行させる、プログラム
である。
【発明の効果】
【０００７】
本開示によれば、対象物の一部が障害物の影に隠れた状態でもその対象物の骨格を精度良く推定できる骨格推定装置、骨格推定方法、及びプログラムを提供することを主たる目的とする。
【図面の簡単な説明】
【０００８】
本実施形態に係る骨格推定装置の概略的なハードウェア構成を示すブロック図である。
本実施形態に係る骨格推定装置の概略的なシステム構成を示すブロック図である。
作業者の各骨格点の位置の推定方法の一例を示す図である。
セグメンテーション処理の一例を示す図である。
隠れ骨格点の距離情報の推定方法の一例を示す図である。
本実施形態に係る骨格推定方法のフローを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本実施形態について説明する。図１は、本実施形態に係る骨格推定装置の概略的なハードウェア構成を示すブロック図である。本実施形態に係る骨格推定装置１は、対象物の一部が障害物の影に隠れた状態でも、その対象物の骨格を精度良く推定することができる。
【００１０】
対象物は、例えば、作業を行う作業者、スポーツを行うスポーツ選手、などの人や動物を含む。以下、対象物が作業者である場合の例について説明する。骨格推定装置１は、例えば、作業者の脚部が台車などの影に隠れた状態でも、その影に隠れた脚部を含む作業者全体の骨格を精度良く推定することができる。
（【００１１】以降は省略されています）

関連特許