特許ウォッチ

公開番号2025082028
公報種別公開特許公報(A)
公開日2025-05-28
出願番号2023195222
出願日2023-11-16
発明の名称作業認識システム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06T 7/20 20170101AFI20250521BHJP(計算;計数)
要約【課題】作業解析の適用範囲を拡大して作業者の作業内容を認識可能な技術を提供すること。
【解決手段】本発明は、作業者を撮影する撮影装置と、前記作業者を含む画像データから前記作業者の関節座標を検出する関節座標検出部と、前記関節座標検出部が検出した前回の前記作業者の関節座標と、前記関節座標検出部が検出した今回の関節座標との差分を算出する関節座標差分算出部と、前記差分と前記作業者の作業内容との対応を学習したモデルにより、前記作業者の作業内容を認識する作業内容認識部と、を有する作業認識システムを提供する。
【選択図】図5
特許請求の範囲【請求項１】
作業者を撮影する撮影装置と、
前記作業者を含む画像データから前記作業者の関節座標を検出する関節座標検出部と、
前記関節座標検出部が検出した前回の前記作業者の関節座標と、前記関節座標検出部が検出した今回の関節座標との差分を算出する関節座標差分算出部と、
前記差分と前記作業者の作業内容との対応を学習したモデルにより、前記作業者の作業内容を認識する作業内容認識部と、
を有する作業認識システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業認識システムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
品質保証、生産効率向上、又は安全管理等の観点から生産ラインで作業する作業者の作業内容を記録したいというニーズがある。撮影装置により作業者を撮影してその映像を記録する方法が知られているが、管理者が映像を見て作業内容などを都度特定する必要がある。
【０００３】
撮影装置により撮影した作業者の骨格情報を用いて、作業内容を特定する技術が知られている（例えば、特許文献１参照）。特許文献１には、作業者の姿態に関する情報を取得する撮影装置及び入力部と、作業者の骨格情報を算出し作業者の動作を推定する動作推定部と、を有し、次工程の作業手順を作業者に対して自動表示する作業指示システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１５５８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、以下のような問題がある。
・各工程に用意されている各撮影装置ごとに技術者がカメラ校正を行い絶対座標を設定しなければ、作業内容を特定できない。すなわち、コスト増となるためシステムの導入自体が困難になる。
・同一作業者であっても、各サイクル（ベルトコンベア上を次々に流れる部品への同じ作業）ごとに関節座標の位置は異なる。絶対座標では次のサイクルに変わったのか同じサイクル内の別の作業なのか判別しにくい。このため、狭い空間で切り替わる作業を解析できない。例えば、近い作業箇所で異なるボルトを２点締める作業がある場合、２点のボルトを締める作業を別の作業として解析できない。
・ベルトコンベアを流れる部品に対する作業では、作業者もベルトコンベアに沿って移動することがあるため、ベルトコンベアに対し固定されている関節座標をそのまま使えない。一方、ベルトコンベアが一定時間間隔で動いていてもコンベア信号は0→20→63→90のように信号飛び（移動量は一定でない）が発生するため、ベルトコンベアの移動に伴って座標に関する設定を変更することも困難である。
【０００６】
本発明は、上記課題に鑑み、作業解析の適用範囲を拡大して作業者の作業内容を認識可能な技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、作業者を撮影する撮影装置と、前記作業者を含む画像データから前記作業者の関節座標を検出する関節座標検出部と、前記関節座標検出部が検出した前回の前記作業者の関節座標と、前記関節座標検出部が検出した今回の関節座標との差分を算出する関節座標差分算出部と、前記差分と前記作業者の作業内容との対応を学習したモデルにより、前記作業者の作業内容を認識する作業内容認識部と、を有する作業認識システムを提供する。
【発明の効果】
【０００８】
本発明は、作業解析の適用範囲を拡大して作業者の作業内容を認識可能な技術を提供できる。
【図面の簡単な説明】
【０００９】
２次元座標カメラが撮影する作業者を含む画像を模式的に示す図である。
３次元座標カメラが撮影した画像から検出された作業者の関節座標を模式的に示す図である。
作業認識システムのシステム構成図の一例である。
作業認識モデルの構成を説明する図である。
作業認識システムの制御装置が画像データ等から作業者の作業内容を認識する処理を説明するフローチャート図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態の一例として、作業認識システム及び作業認識システムが行う作業解析方法について図面を参照しながら説明する。
（【００１１】以降は省略されています）

関連特許