特許ウォッチ

公開番号2025113895
公報種別公開特許公報(A)
公開日2025-08-04
出願番号2024008288
出願日2024-01-23
発明の名称作業者の作業箇所・作業行動を判定するシステム
出願人トヨタ自動車株式会社
代理人個人,個人
主分類G06Q 10/063 20230101AFI20250728BHJP(計算;計数)
要約【課題】或る作業工程が反復して実行される場合に、同様の箇所にて同様の行動が反復されていることを容易に確認できるようにする。
【解決手段】作業者の作業箇所・作業行動を判定するシステム1は、作業者Pによる作業の画像を撮像する撮像手段2、3と、撮像手段により撮像された作業者による作業の画像にして、参照作業が実行されたときの作業の画像である参照画像を記録する作業画像データベース12と、撮像手段により撮像された作業者による作業の画像と、作業画像データベースに記録された参照画像との類似の度合を表わすマッチング度を決定する画像類似度決定手段10と、マッチング度が所定値を上回っているときに、撮像手段により撮像された作業者による作業が正常であり、マッチング度が所定値を下回っているときに、撮像手段により撮像された作業者による作業が異常であると判定する判定手段10とを含む。
【選択図】図1
特許請求の範囲【請求項１】
作業者の作業箇所・作業行動を判定するシステムであって、
前記作業者による作業の画像を撮像する撮像手段と、
前記撮像手段により撮像された前記作業者による作業の画像にして、参照作業が実行されたときの作業の画像である参照画像を記録する作業画像データベースと、
前記撮像手段により撮像された前記作業者による作業の画像と、前記作業画像データベースに記録された参照画像との類似の度合を表わすマッチング度を決定する画像類似度決定手段と、
前記マッチング度が所定値を上回っているときに、前記撮像手段により撮像された前記作業者による作業が正常であり、前記マッチング度が前記所定値を下回っているときに、前記撮像手段により撮像された前記作業者による作業が異常であると判定する判定手段と
を含むシステム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、コンピュータシステムを用いて、作業者の作業箇所及び／又は作業行動を判定するシステムに係り、より詳細には、或る作業者の作業箇所及び／又は作業行動が、予定された作業箇所及び／又は作業行動と一致しているか否かを判定するシステムに係る。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
近年、製造業に於ける製造作業の現場に於いて、作業が正しく実行されていることを監視するために、ライン作業者の解析を行う解析技術の実用化が進んでいる。例えば、製造ラインに於ける作業箇所を特定するために、動画データから骨格を推定して作業箇所を特定する方法などが種々提案されている。また、特許文献１では、作業者が工具による締結部品の締め付け作業を実行しようとする場合に、作業者の視野を撮影する撮像装置で撮影された画像と、予め記憶してある締め付け作業の対象の作業箇所の画像とを比較してその異同から指定された箇所で作業しているか否かを判定するといった構成が提案されている。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－６３３５２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
製造ラインに於いて、或る作業工程が反復して実行される場合、通常、作業者は、同様の箇所にて同様の行動を反復する。従って、任意の作業工程が反復して実行される場合に、その作業として正しい箇所で正しい行動を実行した様子を画像として記録しておけば、その後、反復して実行される作業に於ける箇所と行動が画像に記録された正しい箇所及び行動と一致しているか否かを判定することで、反復されるべき作業工程が正しく実行されているか否かが容易に判定できることとなる。
【０００５】
かくして、本発明の主な課題は、或る作業工程が反復して実行される場合に、同様の箇所及び／又は同様の行動にて反復されていることを容易に確認できるようにすることである。
【課題を解決するための手段】
【０００６】
本発明によれば、上記の課題は、作業者の作業箇所・作業行動を判定するシステムであって、
前記作業者による作業の画像を撮像する撮像手段と、
前記撮像手段により撮像された前記作業者による作業の画像にして、参照作業が実行されたときの作業の画像である参照画像を記録する作業画像データベースと、
前記撮像手段により撮像された前記作業者による作業の画像と、前記作業画像データベースに記録された参照画像との類似の度合を表わすマッチング度を決定する画像類似度決定手段と、
前記マッチング度が所定値を上回っているときに、前記撮像手段により撮像された前記作業者による作業が正常であり、前記マッチング度が前記所定値を下回っているときに、前記撮像手段により撮像された前記作業者による作業が異常であると判定する判定手段と
を含むシステム
によって達成される。
【０００７】
上記に於いて、「作業者」とは、既に触れた如く、製造ラインにて物の締結、塗装などの加工を実行する者であり、「作業箇所」とは、前記の加工作業の対象となる物の部位であり、「作業行動」とは、前記の加工作業の際の作業者の動きである。「撮像手段」は、カメラ等であってよく、「作業の画像」とは、作業中の作業者の像や作業者からの視界の画像である。「参照作業」とは、適宜設定又は選択される加工について、正しい箇所で正しい行動にて実行された作業であり、如何なる作業を参照作業として採用するかは、システムの設定者又は使用者により適宜決定されてよい。「参照画像」とは、上記の如く、かかる参照作業が実行された際に撮影された作業の画像であり、「作業画像データベース」は、参照画像が撮像されたときに、その参照画像を記録しておくデータベースであり、コンピュータ装置によりアクセスされる記憶装置であってよい。「マッチング度」は、或る加工作業についての参照画像が記録された後、それと同一の作業が期待される際に撮像された作業の画像（被検査画像）と、参照画像との類似の度合を表わす指標であり、画像間の類似の程度を評価するための任意のアルゴリズムを用いて決定されてよい。「判定手段」に於けるマッチング度に対する所定値は、適宜設定されてよいところ、被検査画像と参照画像との間の差異が、同様の作業箇所・作業行動であると許容できる範囲内の境界であるときのマッチング度に設定されてよい。「画像類似度決定手段」と「判定手段」とは、コンピュータ装置に於けるプログラムに従った作動により実現されてよい。
【０００８】
上記の構成に於いては、或る加工作業について、先ず、その正しい箇所にて正しい行動で実行された作業の参照画像が撮影されデータベースに記録され、しかる後、同一の加工作業が期待される作業の実行時には、その作業の被検査画像が撮影され、参照画像と比較されて、それらの異同が評価される。これにより、或る作業工程が反復して実行される場合に、同様の箇所にて同様の行動が反復されているか否かを容易に確認できることとなる。
【０００９】
上記のシステムに於いて、撮像手段として、既に触れた如く、作業者と加工対象とを網羅的に撮影するカメラ（三人称視点カメラ）と作業者の視野を撮影するカメラ（作業者視点カメラ）とのいずれか又は両方が用いられてよい。後者の場合、作業の画像は、三人称視点カメラによる画像と作業者視点カメラによる画像の２種類となる。その場合、少なくとも一方の画像について参照画像と異なると、作業が異常であると判定されることとなり、これにより、作業が参照作業と異なっていたにもかかわらず、そのことが一方のカメラでは捉えられなかった場合でも他方のカメラでは捉えられていれば、作業の異常が検知できるので、より確実に、作業の異同を確認できることとなり、有利である。
【００１０】
また、上記のシステムに於いて、作業の画像は、監視対象となる作業に於ける作業開始後の任意のタイミングで撮像された画像であってよく、監視対象となる作業に於いて、複数のタイミングにて撮像された画像であってもよい。その場合、或る加工作業に於ける複数段階のそれぞれの参照画像が撮影されて記録され、これに対応して複数段階にて被検査画像が撮影されて、それぞれ、対応する段階の参照画像と比較されて異同が評価されてよい。これにより、複数の動作を含む作業に於いて、個々の動作は参照作業のものと同様であっても、動作の順序が異なっている場合が検知できることとなる。
（【００１１】以降は省略されています）

関連特許