特許ウォッチ

公開番号2025098338
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2023214397
出願日2023-12-20
発明の名称作業管理装置、作業管理システム及び作業管理方法
出願人株式会社日立製作所
代理人ポレール弁理士法人
主分類G06T 7/20 20170101AFI20250625BHJP(計算;計数)
要約【課題】
本発明の目的は、作業記録しているカメラの位置姿勢を表現するための、作業空間内への基準となる座標の設定をマーカなしに実施する作業管理装置を提供することにある。
【解決手段】
本発明は、基準座標を含む事前情報を入力する入力部と、作業者の作業状況を示す複数のフレームとフレーム中の作業者の視線情報とを受け付ける受付部と、事前情報とフレームと視線情報とを用いて、フレームにおける基準座標の位置を決定する位置決定部と、フレームと視線情報を用いて、作業者の作業場面を示す作業フレームを抽出する抽出部と、抽出部が抽出した作業フレームと受付部で受け付けたフレームと位置決定部が決定した基準座標の位置とを用いて、作業フレームに基準座標に対する位置を付与する付与部とを備える作業管理装置である。
【選択図】図1
特許請求の範囲【請求項１】
基準座標を含む事前情報を入力する入力部と、
作業者の作業状況を示す複数のフレームとフレーム中の作業者の視線情報とを受け付ける受付部と、
前記事前情報と前記フレームと前記視線情報とを用いて、前記フレームにおける基準座標の位置を決定する位置決定部と、
前記フレームと前記視線情報を用いて、前記作業者の作業場面を示す作業フレームを抽出する抽出部と、
前記抽出部が抽出した前記作業フレームと前記受付部で受け付けた前記フレームと前記位置決定部が決定した前記基準座標の位置とを用いて、前記作業フレームに前記基準座標に対する位置を付与する付与部と、を備える作業管理装置。
続きを表示（約 1,400 文字）【請求項２】
請求項１に記載の作業管理装置であって、
前記事前情報は、物体の３Ｄモデルである作業管理装置。
【請求項３】
請求項１に記載の作業管理装置であって、
前記フレームは、少なくとも1つの点群である作業管理装置。
【請求項４】
請求項１に記載の作業管理装置であって、
前記抽出部において、前記視線情報が一定時間の間に特定部分に存在する場合に、前記作業フレームを抽出する作業管理装置。
【請求項５】
請求項１に記載の作業管理装置であって、
前記位置決定部において、前記視線情報が一定時間の間に特定部分に存在する場合に、前記視線情報に基づいて、前記事前情報を移動して前記事前情報と前記フレームのマッチング処理を実施し、前記基準座標の位置を決定する作業管理装置。
【請求項６】
請求項５に記載の作業管理装置であって、
前記位置決定部において、初期位置に移動した前記事前情報と選択した点群を用いた位置合わせを実施し、前記事前情報を、基準物体を注視していた空間的な位置に移動することを特徴とする作業管理装置。
【請求項７】
請求項１に記載の作業管理装置であって、
前記作業者あるいはロボットの利用時情報を受け付ける利用時情報入力部と、
前記利用時情報と前記基準座標に対する位置とを入力し、前記作業者あるいは前記ロボットの移動量を計算する移動量計算部とを備える作業管理装置。
【請求項８】
請求項１に記載の作業管理装置であって、
前記基準座標に対する位置と前記作業フレームを記憶する記憶部と、
前記記憶部が記憶する前記基準座標に対する位置を付した前記作業フレームの内、
指定された前記基準座標に対する位置を付した前記作業フレームを出力する出力部とを備える作業管理装置。
【請求項９】
基準座標を含む事前情報を入力する入力部と、
作業者の作業状況を示す複数のフレームとフレーム中の作業者の視線情報とを受け付ける受付部と、
前記事前情報と前記フレームと前記視線情報とを用いて、前記フレームにおける基準座標の位置を決定する位置決定部と、
前記フレームと前記視線情報を用いて、前記作業者の作業場面を示す作業フレームを抽出する抽出部と、
前記抽出部が抽出した前記作業フレームと前記受付部で受け付けた前記フレームと前記位置決定部が決定した前記基準座標の位置とを用いて、前記作業フレームに前記基準座標に対する位置を付与する付与部と、
前記視線情報を取得する取得部とを備える作業管理システム。
【請求項１０】
基準座標を含む事前情報を入力部で受信し、
作業者の作業状況を示す複数のフレームとフレーム中の作業者の視線情報とを受付部で受信し、
前記事前情報と前記フレームと前記視線情報とを用いて、前記フレームにおける基準座標の位置を位置決定部で決定し、
前記フレームと前記視線情報を用いて、前記作業者の作業場面を示す作業フレームを抽出部で抽出し、
前記抽出部が抽出した前記作業フレームと前記受付部で受け付けた前記フレームと前記位置決定部が決定した前記基準座標の位置とを用いて、前記作業フレームに前記基準座標に対する位置を付与部で付与する、作業管理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、利用設備やインフラの保守作業等の作業管理装置、作業管理システム及び作業管理方法に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
様々な産業分野において、利用設備やインフラの保守作業は重要な作業の1つとして継続的に実施される。例えば、鉄道分野では、鉄道車両の保守作業がある。具体的な作業としては、車両下部を構成する台車の締結部や溶接部に破損がないかの日々の確認作業や、動物との衝突等の異常発生後に傷やひび割れ、異物付着の有無の確認作業が挙げられる。運搬貨物や乗客の安全確保のために、鉄道運行会社は、これらの保守作業に多くの人的・金銭的コストを費やしている。鉄道車両の老朽化に伴い点検箇所が増加する一方で、保守を実施可能な熟練の作業員数は減少しており、結果としてこれらのコストは増加することが予想される。このようなインフラ設備の老朽化と熟練の作業員数の減少は、鉄道分野に限らず様々な分野で発生している。
【０００３】
このような保守作業を含めた作業内容を記録し、将来の保守点検に活用するために、保守点検結果や作業内容を動画像として保存する場合がある。作業内容の記録方法として、ヘッドマウントディスプレイの利用が進められている。ヘッドマウントディスプレイは、シースルー型のディスプレイ、カメラ等を備えており、作業者が装着することで、作業者の一人称視点動画像の収集に加えて、作業者の視線の追跡と記録、作業者へのホログラムを用いた情報提供が可能となる。
【０００４】
保存した動画像の利用例として、例えば、将来の保守点検時に点検箇所の現在の状態と動画像を比較し、差分の有無確認に用いられる。動画像と比較することで、口頭や文書で記録された情報と比較することに比べて、比較の正確性や点検に掛かる時間の短縮が見込まれる。また、動画像は、保守点検作業を経験の少ない作業者に教示することにも利用される。熟練の作業員の作業を経験の少ない作業者に伝達することで、保守点検を実施可能な作業員数の増加が期待できる。
【０００５】
動画像の記録の際に、さらに、動画像を撮影したカメラの位置姿勢も記録することも可能である。カメラの位置姿勢を記録して、作業の空間的な位置関係を正しく把握すると、作業が適切な個所で実施されたか否かの確認が可能となる。また、カメラの位置姿勢が得られると、ドローンや移動型ロボットに搭載したカメラの目標の位置姿勢として利用できる。これらのロボットは、点検作業者の代替として利用することができ、人的・金銭的コストの削減にもつながる。
【０００６】
カメラの位置姿勢と作業空間の対応関係を既知にするために、カメラの位置姿勢の記録の際には、作業空間の中で共通した座標系である基準座標を設定する必要がある。基準座標の設定方法に関する技術として、例えば、特許文献１のような技術がある。特許文献１には「実空間の第１対象ユニットに係止されているマーカの画像が撮像部によって撮影され、撮影されたマーカの画像に基づいてマーカと撮像部との位置関係を検出する方法」が開示されている（段落０００６参照）。また、規定のマーカは、対象ユニットに添付され、マーカの画像が撮像部によって撮像され、撮影されたマーカの画像に基づいてマーカと撮像部との位置関係を検出する（段落０００６及び段落００５２参照）。
【先行技術文献】
【特許文献】
【０００７】
特開２０２０－１４９１４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の課題として、基準座標の設定のために環境や対象物にマーカを用意する点が挙げられる。マーカは、想定した位置に高精度に設置することが難しい。特に、鉄道車両のように、マーカを張り付け可能な平面が少なく、車両の構成部品によりマーカの隠れが頻繁に発生する環境でマーカを利用することは困難である。また、鉄道車両のように駆動部が存在し、マーカの巻き込み等で装置の故障や安全運航に関わる懸念が生じる部分の点検作業の場合、部品以外の物体、すなわち、マーカの添付行為ができない場合もある。
【０００９】
本発明の目的は、作業記録しているカメラの位置姿勢を表現するための、作業空間内への基準となる座標の設定をマーカなしに実施する作業管理装置、作業管理システム及び作業管理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、作業者の作業状況を示す複数のフレームとフレーム中の作業者の視線情報とを受け付ける受付部と、前記事前情報と前記フレームと前記視線情報とを用いて、前記フレームにおける基準座標の位置を決定する位置決定部と、
前記フレームと前記視線情報を用いて、前記作業者の作業場面を示す作業フレームを抽出する抽出部と、前記抽出部が抽出した前記作業フレームと前記受付部で受け付けた前記フレームと前記位置決定部が決定した前記基準座標の位置とを用いて、前記作業フレームに前記基準座標に対する位置を付与する付与部とを備える作業管理装置である。
（【００１１】以降は省略されています）

関連特許