特許ウォッチ

公開番号2025139888
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024038970
出願日2024-03-13
発明の名称作業認識支援システム及び作業認識支援方法
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類A61B 5/11 20060101AFI20250919BHJP(医学または獣医学;衛生学)
要約【課題】要素行動の遷移パターンが類似する作業同士であっても精度よく判別し、効率的な作業認識を支援可能とする。
【解決手段】作業認識支援システムSにおいて、各作業に必要な要素行動の遷移パターンを規定した行動遷移テーブル30を保持する記憶装置1と、作業認識の対象者に関する動作データ10をセンサより取得する処理と、動作データ10に基づき、対象者における各体部位の行動及び姿勢を時系列順に認識する処理と、認識した行動及び姿勢から、各体部位における要素行動の時間遷移を認識する処理と、要素行動の時間遷移を行動遷移テーブル30に照合して、対象者による作業を作業手順中から特定する演算装置3を含む構成とする。
【選択図】図1

特許請求の範囲【請求項１】
作業手順を構成する各作業について、当該各作業に必要な要素行動の遷移パターンを規定した行動遷移テーブルを保持する記憶装置と、
作業認識の対象者に関する動作データを、動作観測用のセンサより取得する処理と、前記動作データに基づき、前記対象者における各体部位の行動及び姿勢を時系列順に認識する処理と、前記認識した行動及び姿勢から、前記各体部位における要素行動の時間遷移を認識する処理と、前記要素行動の時間遷移を、前記記憶装置の前記行動遷移テーブルに照合して、前記対象者による作業を前記作業手順中から特定する処理を実行する演算装置と、
を含む作業認識支援システム。
続きを表示（約 1,700 文字）【請求項２】
請求項１に記載の作業認識支援システムであって、
前記演算装置は、
前記対象者における動作対象に関するデータを、動作対象観測用のセンサより取得する処理と、前記動作対象に関するデータに基づき、前記対象者における動作対象の物体を認識する処理をさらに実行し、
前記要素行動の時間遷移の認識に際し、前記各体部位の行動及び姿勢と、前記物体との組み合わせから、前記要素行動の時間遷移を認識する、
ことを特徴とする作業認識支援システム。
【請求項３】
請求項１に記載の作業認識支援システムであって、
前記演算装置は、
前記対象者における動作対象の位置に関するデータを、位置観測用のセンサより取得する処理と、前記位置に関するデータに基づき、前記対象者における動作対象の位置を認識する処理をさらに実行し、
前記要素行動の時間遷移の認識に際し、前記各体部位の行動及び姿勢と、前記位置との組み合わせから、前記要素行動の時間遷移を認識する、
ことを特徴とする作業認識支援システム。
【請求項４】
請求項１に記載の作業認識支援システムであって、
前記演算装置は、
前記対象者における動作対象に関するデータを、動作対象観測用のセンサより取得する処理と、前記動作対象に関するデータに基づき、前記対象者における動作対象の物体を認識する処理と、前記対象者における動作対象の位置に関するデータを、位置観測用のセンサより取得する処理と、前記位置に関するデータに基づき、前記対象者における動作対象の位置を認識する処理をさらに実行し、
前記要素行動の時間遷移の認識に際し、前記各体部位の行動及び姿勢と、前記物体と、前記位置との組み合わせから、前記要素行動の時間遷移を認識する、
ことを特徴とする作業認識支援システム。
【請求項５】
請求項４に記載の作業認識支援システムであって、
前記演算装置は、
前記対象者による作業の特定に際し、前記要素行動の時間遷移を、前記記憶装置の前記行動遷移テーブルに照合した結果、前記対象者による作業として複数の作業が特定された場合、前記要素行動、前記物体、及び前記位置のそれぞれの時間遷移と、前記行動遷移テーブルとの照合をさらに実行し、前記対象者による作業を前記作業手順中から特定する、
ことを特徴とする作業認識支援システム。
【請求項６】
請求項１に記載の作業認識支援システムであって、
前記演算装置は、
前記作業手順が記述された作業手順書の情報に基づき、当該作業手順書における各作業に作業内容に関する説明情報から、当該各作業の識別情報と、当該各作業を構成する前記要素行動の前記各体部位での行動及び姿勢との対応関係を抽出し、前記行動遷移テーブルを生成する処理をさらに実行する、
ことを特徴とする作業認識支援システム。
【請求項７】
請求項６に記載の作業認識支援システムであって、
前記演算装置は、
前記行動遷移テーブルの生成に際し、前記作業手順書における前記作業内容に関する説明情報から、当該各作業の識別情報と、当該各作業を構成する前記要素行動の前記各体部位での行動及び姿勢と、動作対象の物体及び位置との対応関係を抽出し、前記行動遷移テーブルを生成する、
ことを特徴とする作業認識支援システム。
【請求項８】
情報処理装置が、
作業手順を構成する各作業について、当該各作業に必要な要素行動の遷移パターンを規定した行動遷移テーブルを保持する記憶装置を備え、
作業認識の対象者に関する動作データを、動作観測用のセンサより取得する処理と、前記動作データに基づき、前記対象者における各体部位の行動及び姿勢を時系列順に認識する処理と、前記認識した行動及び姿勢から、前記各体部位における要素行動の時間遷移を認識する処理と、前記要素行動の時間遷移を、前記記憶装置の前記行動遷移テーブルに照合して、前記対象者による作業を前記作業手順中から特定する処理とを実行する、
ことを特徴とする作業認識支援方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作業認識支援システム及び作業認識支援方法に関し、具体的には、要素行動の遷移パターンが類似する作業同士であっても精度よく判別し、効率的な作業認識を支援可能とする技術に関する。
続きを表示（約 2,800 文字）【背景技術】
【０００２】
製造現場等において、作業抜けや作業ミスによる不良損失、あるいは、冗長、緩慢な動作等の蓄積による作業工程の遅延、作業員配置の過不足による効率低下とコスト増、といった問題が従来から存在する。そこで、当該作業現場等において、各作業員の動作等を認識し、現場や管理部門に適宜にフィードバックすることで、上記不良損失の低減や、工程、人員配置の最適化を図る動きがある。
そこで、対象者の作業内容の認識を行うべく、作業を時系列的に短時間の要素行動に分解し、当該要素行動の遷移を認識、判定することで、作業内容を特定する手法が存在する。こうした手法においては、各作業内容における上記要素行動の遷移内容を定義した行動遷移テーブルを用意しておき、製造現場等の作業員に関して実際に認識できた要素行動の組み合わせを、当該行動遷移テーブルに照合することで、作業内容を判定する。
【０００３】
上記手法に関する従来技術として、例えば、ある一定のパターンを採る訳ではなくその度によって順序や回数が異なる日常動作を的確に認識し得る行動認識システム（特許文献１）が提案されている。この従来技術は、対象となる人の動きを検出し、その動作データを処理して行動を認識する行動認識システムであって、認識処理を第１ステップと第２ステップとの２段階構成とし、第１ステップでは、前記動作データを処理して検出される人の動きの情報の時系列変化に基づき例えば物を口元に持ってくる一回の動作の期間である短期間に行われる一定の動作パターンを認識するとともに、第２ステップでは、認識対象とする期間に含まれる前記一定の動作パターンの出現態様に基づき例えば食事をする動作である前記短期間に行われる動作を幾つか組み合わせた例えば食事をする動作の期間である長期間に亘る動作全体を認識するように構成したことを特徴とする行動認識システムに係る。
【０００４】
また他にも、複数の抽象レベルで行動を把握することができる行動認識方法、装置及びプログラム（特許文献２）も提案されている。この技術は、個体の行動を計測するセンサデータを取り込み、前記センサデータから前記個体の行動を認識する行動認識装置における行動認識方法であって、複数の抽象レベル毎に、行動モデルと行動認識アルゴリズムとに対応するモデルデータを保持する行動モデル保持ステップと、前記センサデータから特徴ベクトルを抽出し、前記特徴ベクトルに対して前記複数の抽象レベルのうちの第１の抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該第１の抽象レベルの行動識別子を認識して記憶する第１識別ステップと、前記複数の抽象レベル毎に、記憶されている、当該抽象レベルより下位レベルの単数若しくは複数の行動識別子からなるシーケンスに対して、当該抽象レベルに対応するモデルデータを用いた認識処理を施すことによって、当該抽象レベルの行動識別子を認識して記憶する第２認識ステップと、を含み、第２の抽象レベルを含む少なくとも１つ抽象レベルについて、前記第２認識ステップを反復することを特徴とする行動認識方法に係る。
【先行技術文献】
【特許文献】
【０００５】
特開２００５－２１５９２７号公報
特開２０１０－２１３７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら従来技術においては、互いに異なる作業内容であるにも関わらず、上記要素行動の遷移パターンが同一又は酷似する、といったケースに対処することが困難である。例えば、「手を右に振る」、「手を左に振る」という要素行動の組み合わせが複数回連続した遷移パターンが認識された場合、作業内容としては「お別れの挨拶をする」、あるいは「窓ふきをする」等が考えられる。ところが、これら作業内容は、要素行動の組み合わせとしては同じであり、従来技術を適用しても正確に区別することは難しい。
【０００７】
一方、特許文献２で示す技術のように、複数の抽象レベルで認識を行うことで、抽象レベルの高い行動をより抽象度の低い行動の遷移で表現することは可能である。しかしながら、各抽象レベルの行動の認識においては、１つ下位の抽象レベルの行動遷移テーブルとの照合のみを実施するため、上記課題の解決にはつながらない（上記の例でいうと、「お別れの挨拶をする」と「窓ふきをする」を区別するために、「手を右に振る」「手を左に振る」より抽象度の低いレベルの行動遷移情報が照合に活用されることはない）。
また、時系列的に抽象レベルの違う要素行動を増やしていくと、照合に利用する行動遷移テーブルも抽象レベル×行動の種類だけ増えていく。そのため誤識別が発生しやすいうえ、抽象レベルの低い行動識別子が誤識別をしてしまうと、上位の全ての識別子に影響が生じてしまう。
【０００８】
本発明は、上記課題を解決するためになされたものであり、要素行動の遷移パターンが類似する作業同士であっても精度よく判別し、効率的な作業認識を支援可能とする技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するための、本発明の代表的な作業認識支援システムの一側面は、作業手順を構成する各作業について、当該各作業に必要な要素行動の遷移パターンを規定した行動遷移テーブルを保持する記憶装置と、作業認識の対象者に関する動作データを、動作観測用のセンサより取得する処理と、前記動作データに基づき、前記対象者における各体部位の行動及び姿勢を時系列順に認識する処理と、前記認識した行動及び姿勢から、前記各体部位における要素行動の時間遷移を認識する処理と、前記要素行動の時間遷移を、前記記憶装置の前記行動遷移テーブルに照合して、前記対象者による作業を前記作業手順中から特定する処理を実行する演算装置と、を含むことを特徴とする。
【００１０】
また、本発明の代表的な作業認識支援方法の一側面は、情報処理装置が、作業手順を構成する各作業について、当該各作業に必要な要素行動の遷移パターンを規定した行動遷移テーブルを保持する記憶装置を備え、作業認識の対象者に関する動作データを、動作観測用のセンサより取得する処理と、前記動作データに基づき、前記対象者における各体部位の行動及び姿勢を時系列順に認識する処理と、前記認識した行動及び姿勢から、前記各体部位における要素行動の時間遷移を認識する処理と、前記要素行動の時間遷移を、前記記憶装置の前記行動遷移テーブルに照合して、前記対象者による作業を前記作業手順中から特定する処理と、を実行することを特徴とする。
【発明の効果】
（【００１１】以降は省略されています）

関連特許