特許ウォッチ

公開番号2025119682
公報種別公開特許公報(A)
公開日2025-08-15
出願番号2024014600
出願日2024-02-02
発明の名称動作分類装置、動作分類方法及び動作分類プログラム
出願人トヨタ自動車株式会社
代理人個人
主分類G06T 7/20 20170101AFI20250807BHJP(計算;計数)
要約【課題】画像に写っている人物の体の一部が隠れている場合であっても、当該人物の動作を分類することが可能な動作分類装置、動作分類方法及び動作分類プログラムを提供すること。
【解決手段】動作分類装置10は、時系列に生成された複数の画像から人物を検出する人物検出部102と、検出された対象の人物の体の一部が隠れている場合、対象の人物の体の一部が隠れる前の対象の人物が写った画像である先行画像と、対象の人物の隠れていた体の一部が再び露出した後の対象の人物が写った画像である後続画像を用いて、対象の人物の隠れている手先及び足先の少なくとも一方の軌道を算出する軌道算出部104と、生成された軌道から対象の人物の骨格を示す骨格情報を生成する骨格情報生成部105と、生成された骨格情報を用いて、対象の人物の動作を分類する動作分類部109とを含む。
【選択図】図1
特許請求の範囲【請求項１】
時系列に生成された複数の画像から人物を検出する人物検出部と、
前記人物検出部によって検出された対象の人物の体の一部が隠れている場合、前記対象の人物の体の一部が隠れる前の前記対象の人物が写った画像である先行画像と、前記対象の人物の隠れていた体の一部が再び露出した後の前記対象の人物が写った画像である後続画像を用いて、前記対象の人物の隠れている手先及び足先の少なくとも一方の軌道を算出する軌道算出部と、
前記軌道算出部によって算出された前記軌道から前記対象の人物の手先及び足先の少なくとも一方の座標を取得し、取得した座標を用いて逆運動学を解くことにより、前記対象の人物の骨格を示す骨格情報を生成する骨格情報生成部と、
前記骨格情報生成部によって生成された前記骨格情報を用いて、前記対象の人物の動作を分類する動作分類部と
を含む動作分類装置。
続きを表示（約 1,300 文字）【請求項２】
前記軌道算出部は、
前記対象の人物の隠れている体の一部に相当する前記対象の人物の隠れている手先又は足先の前記先行画像における座標である先行座標と、前記隠れている手先又は足先の前記後続画像における座標である後続座標を特定し、
前記先行座標及び後続座標を用いて、補間手法により、前記先行画像と前記後続画像の間の１以上の中間画像における前記隠れている手先又は足先の座標である中間座標を算出し、
前記先行座標と、算出された前記中間座標と、前記後続座標を結ぶ線を、前記隠れている手先又は足先の軌道として算出する、請求項１に記載の動作分類装置。
【請求項３】
前記人物検出部によって前記対象の人物が検出された画像を処理する画像処理部をさらに含み、
前記画像処理部は、前記対象の人物が検出された画像から前記対象の人物の背景画像を削除し、又は、前記対象の人物が写った画像から前記人物を含む画像を切り出し、切り出された画像のサイズが既定のサイズよりも小さい場合、切り出された画像のサイズを前記既定のサイズに拡大し、
前記骨格情報生成部は、前記画像処理部によって処理された画像を用いて、前記骨格情報を生成する、請求項１又は２に記載の動作分類装置。
【請求項４】
人物の動作を分類するための動作分類方法であって、コンピュータが、
時系列に生成された複数の画像から人物を検出し、
検出された対象の人物の体の一部が隠れている場合、前記対象の人物の体の一部が隠れる前の前記対象の人物が写った画像である先行画像と、前記対象の人物の隠れていた体の一部が再び露出した後の前記対象の人物が写った画像である後続画像を用いて、前記対象の人物の手先及び足先の少なくとも一方の軌道を算出し、
算出された前記軌道から前記対象の人物の手先及び足先の少なくとも一方の座標を取得し、
取得された座標を用いて逆運動学を解くことにより、前記対象の人物の骨格を示す骨格情報を生成し、
生成された前記骨格情報を用いて、前記対象の人物の動作を分類する、
動作分類方法。
【請求項５】
人物の動作を分類するための動作分類プログラムであって、コンピュータに対し、
時系列に生成された複数の画像から人物を検出するステップと、
検出された対象の人物の体の一部が隠れている場合、前記対象の人物の体の一部が隠れる前の前記対象の人物が写った画像である先行画像と、前記対象の人物の隠れていた体の一部が再び露出した後の前記対象の人物が写った画像である後続画像を用いて、前記対象の人物の手先及び足先の少なくとも一方の軌道を算出するステップと、
算出された前記軌道から前記対象の人物の手先及び足先の少なくとも一方の座標を取得するステップと、
取得された座標を用いて逆運動学を解くことにより、前記対象の人物の骨格を示す骨格情報を生成するステップと、
生成された前記骨格情報を用いて、前記対象の人物の動作を分類するステップと
を実行させる動作分類プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、人物の動作を分類するための動作分類装置、動作分類方法及び動作分類プログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
従来、作業者等の人物の動作を分類するための種々の技術が提案されている。このような技術の一例として、特許文献１は、人等の対象の行動が時系列に記録されたデータから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識する行動認識装置を開示する。この行動認識装置は、特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する特徴量の時系列データに基づき、現認識時点の行動を認識する。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１７／１５０２１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１が開示する行動認識装置では、画像に写っている人物の体の一部が隠れている場合、当該人物の動作を分類することができないという課題があった。
【０００５】
本開示は、画像に写っている人物の体の一部が隠れている場合であっても、当該人物の動作を分類することが可能な動作分類装置、動作分類方法及び動作分類プログラムを提供するものである。
【課題を解決するための手段】
【０００６】
本開示に係る動作分類装置は、
時系列に生成された複数の画像から人物を検出する人物検出部と、
人物検出部によって検出された対象の人物の体の一部が隠れている場合、対象の人物の体の一部が隠れる前の対象の人物が写った画像である先行画像と、対象の人物の隠れていた体の一部が再び露出した後の対象の人物が写った画像である後続画像を用いて、対象の人物の隠れている手先及び足先の少なくとも一方の軌道を算出する軌道算出部と、
軌道算出部によって算出された軌道から対象の人物の手先及び足先の少なくとも一方の座標を取得し、取得した座標を用いて逆運動学を解くことにより、対象の人物の骨格を示す骨格情報を生成する骨格情報生成部と、
骨格情報生成部によって生成された骨格情報を用いて、対象の人物の動作を分類する動作分類部とを含む。
【０００７】
また、軌道算出部は、
対象の人物の隠れている体の一部に相当する対象の人物の隠れている手先又は足先の先行画像における座標である先行座標と、隠れている手先又は足先の後続画像における座標である後続座標を特定し、
先行座標及び後続座標を用いて、補間手法により、先行画像と後続画像の間の１以上の中間画像における隠れている手先又は足先の座標である中間座標を算出し、
先行座標と、算出された中間座標と、後続座標を結ぶ線を、隠れている手先又は足先の軌道として算出し得る。
【０００８】
さらに、動作分類装置は、人物検出部によって対象の人物が検出された画像を処理する画像処理部を含むことができ、
画像処理部は、対象の人物が検出された画像から対象の人物の背景画像を削除し、又は、対象の人物が写った画像から人物を含む画像を切り出し、切り出された画像のサイズが既定のサイズよりも小さい場合、切り出された画像のサイズを既定のサイズに拡大し、
骨格情報生成部は、画像処理部によって処理された画像を用いて、骨格情報を生成し得る。
【０００９】
本開示に係る人物の動作を分類するための動作分類方法は、コンピュータが、
時系列に生成された複数の画像から人物を検出し、
検出された対象の人物の体の一部が隠れている場合、対象の人物の体の一部が隠れる前の対象の人物が写った画像である先行画像と、対象の人物の隠れていた体の一部が再び露出した後の対象の人物が写った画像である後続画像を用いて、対象の人物の手先及び足先の少なくとも一方の軌道を算出し、
算出された軌道から対象の人物の手先及び足先の少なくとも一方の座標を取得し、
取得された座標を用いて逆運動学を解くことにより、対象の人物の骨格を示す骨格情報を生成し、
生成された骨格情報を用いて、対象の人物の動作を分類する。
【００１０】
本開示に係る人物の動作を分類するための動作分類プログラムは、コンピュータに対し、
時系列に生成された複数の画像から人物を検出するステップと、
検出された対象の人物の体の一部が隠れている場合、対象の人物の体の一部が隠れる前の対象の人物が写った画像である先行画像と、対象の人物の隠れていた体の一部が再び露出した後の対象の人物が写った画像である後続画像を用いて、対象の人物の手先及び足先の少なくとも一方の軌道を算出するステップと、
算出された軌道から対象の人物の手先及び足先の少なくとも一方の座標を取得するステップと、
取得された座標を用いて逆運動学を解くことにより、対象の人物の骨格を示す骨格情報を生成するステップと、
生成された骨格情報を用いて、対象の人物の動作を分類するステップとを実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許