特許ウォッチ

公開番号2025110181
公報種別公開特許公報(A)
公開日2025-07-28
出願番号2024003967
出願日2024-01-15
発明の名称作業判定装置、作業判定方法および作業判定プログラム
出願人コニカミノルタ株式会社
代理人弁理士法人鷲田国際特許事務所
主分類G06T 7/00 20170101AFI20250718BHJP(計算;計数)
要約【課題】作業の完了を正確に判定する作業判定装置、作業判定方法および作業判定プログラムを提供する。
【解決手段】作業判定装置は、作業を撮影した第1画像と第2画像とを取得する取得部と、前記第1画像に含まれる第1物体と前記第2画像に含まれる第2物体とを検出する検出部と、前記第1画像で検出された前記第1物体の位置と前記第2画像で検出された前記第2物体の位置とを含む判定用変位データを判定モデルに入力し、作業が完了したか否かを示す判定結果を出力する判定部と、を備え、前記判定モデルは、作業開始時における物体の位置および作業終了時における物体の位置を含む訓練用変位データと、作業の完了を示す判定結果とのデータセットを正例として含む訓練データによって訓練されている。
【選択図】図1
特許請求の範囲【請求項１】
作業を撮影した第１画像と第２画像とを取得する取得部と、
前記第１画像に含まれる第１物体と前記第２画像に含まれる第２物体とを検出する検出部と、
前記第１画像で検出された前記第１物体の位置と前記第２画像で検出された前記第２物体の位置とを含む判定用変位データを判定モデルに入力し、作業が完了したか否かを示す判定結果を出力する判定部と、
を備え、
前記判定モデルは、作業開始時における物体の位置および作業終了時における物体の位置を含む訓練用変位データと、作業の完了を示す判定結果とのデータセットを正例として含む訓練データによって訓練されている、作業判定装置。
続きを表示（約 1,100 文字）【請求項２】
前記取得部は、作業開始を示す開始情報に基づいて前記第１画像を取得し、作業終了を示す終了情報に基づいて前記第２画像を取得する請求項１に記載の作業判定装置。
【請求項３】
前記取得部は、作業開始時を撮影した複数の前記第１画像と作業終了時を撮影した複数の前記第２画像とを取得し、
前記検出部は、複数の前記第１画像から検出される物体の検出信頼度に基づいて複数の前記第１画像の中から前記第１物体を検出し、複数の前記第２画像から検出される物体の検出信頼度に基づいて複数の前記第２画像の中から前記第２物体を検出する請求項２に記載の作業判定装置。
【請求項４】
前記検出部は、複数の前記第１画像に複数の前記第１物体が含まれる場合、前記検出信頼度に基づいて複数の前記第１画像の中から前記第１物体毎に検出する特定の前記第１画像を選択し、複数の前記第２画像に複数の前記第２物体が含まれる場合、前記検出信頼度に基づいて複数の前記第２画像の中から前記第２物体毎に検出する特定の前記第２画像を選択する請求項３に記載の作業判定装置。
【請求項５】
前記検出部は、前記第１画像および前記第２画像に含まれる物体の検出信頼度に基づいて、前記第１物体および前記第２物体を検出する請求項１に記載の作業判定装置。
【請求項６】
前記判定用変位データは、前記第１画像から前記第１物体を検出した検出情報と、前記第２画像から前記第２物体を検出した検出情報とを含む請求項１に記載の作業判定装置。
【請求項７】
前記判定モデルは、前記判定用変位データを点群データとみなし、点群処理ニューラルネットワークに前記判定用変位データを入力することより、前記第１物体と前記第２物体の変位特徴量を抽出し、前記変位特徴量に基づいて作業が完了したか否かを判定する請求項１に記載の作業判定装置。
【請求項８】
前記判定モデルは、ニューラルネットワークの内部でマックスプーリング処理を施すことにより、前記第１物体と前記第２物体の変位特徴量を抽出する請求項１に記載の作業判定装置。
【請求項９】
前記判定モデルは、作業開始時の物体と作業終了時の物体の変位特徴量と、前記第１物体と前記第２物体の変位特徴量との差に基づいて、作業が完了したか否かを判定する請求項１に記載の作業判定装置。
【請求項１０】
前記判定モデルは、作業開始時の物体の位置以外の位置と作業終了時の物体の位置以外の位置とを含む訓練用変位データと、作業の非完了を示す判定結果とのデータセットを負例としてさらに含む訓練データによって訓練される請求項１に記載の作業判定装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、作業判定装置、作業判定方法および作業判定プログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
近年、工場などにおいて作業者または作業ロボットの作業を撮影し、その画像に基づいて作業が適切に完了したか否かを判定する作業判定装置が提案されている。
【０００３】
例えば、特許文献１には、作業が正しく行われているか否かを高精度に判定して、作業の間違いや漏れを防ぐ作業判定装置が開示されている。この作業判定装置は、作業者が把持した部品が作業において仕掛品に取り付けるべき部品であるか否かを判定する。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－０１０６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の作業判定装置は、作業者が部品を把持した画像に基づいて作業の完了を判定するため、例えば作業者の手で部品が隠れると、作業の完了を正確に判定することが困難であった。
【０００６】
本開示は、作業の完了を正確に判定する作業判定装置、作業判定方法および作業判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示に係る作業判定装置は、作業を撮影した第１画像と第２画像とを取得する取得部と、前記第１画像に含まれる第１物体と前記第２画像に含まれる第２物体とを検出する検出部と、前記第１画像で検出された前記第１物体の位置と前記第２画像で検出された前記第２物体の位置とを含む判定用変位データを判定モデルに入力し、作業が完了したか否かを示す判定結果を出力する判定部と、を備え、前記判定モデルは、作業開始時における物体の位置および作業終了時における物体の位置を含む訓練用変位データと、作業の完了を示す判定結果とのデータセットを正例として含む訓練データによって訓練されているものである。
【０００８】
本開示に係る作業判定方法は、作業を撮影した第１画像と第２画像とを取得することと、前記第１画像に含まれる第１物体と前記第２画像に含まれる第２物体とを検出することと、前記第１画像で検出された前記第１物体の位置と前記第２画像で検出された前記第２物体の位置とを含む判定用変位データを判定モデルに入力し、作業が完了したか否かを示す判定結果を出力することと、を含み、前記判定モデルは、作業開始時における物体の位置および作業終了時における物体の位置を含む訓練用変位データと、作業の完了を示す判定結果とのデータセットを正例として含む訓練データによって訓練されているものである。
【０００９】
本開示に係る作業判定プログラムは、作業を撮影した第１画像と第２画像とを取得することと、前記第１画像に含まれる第１物体と前記第２画像に含まれる第２物体とを検出することと、前記第１画像で検出された前記第１物体の位置と前記第２画像で検出された前記第２物体の位置とを含む判定用変位データを判定モデルに入力し、作業が完了したか否かを示す判定結果を出力することと、を含み、前記判定モデルは、作業開始時における物体の位置および作業終了時における物体の位置を含む訓練用変位データと、作業の完了を示す判定結果とのデータセットを正例として含む訓練データによって訓練されているものである。
【発明の効果】
【００１０】
本開示によれば、作業の完了を正確に判定することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許