特許ウォッチ

公開番号2025058493
公報種別公開特許公報(A)
公開日2025-04-09
出願番号2023168463
出願日2023-09-28
発明の名称情報処理装置、情報処理システム、情報処理方法およびプログラム
出願人カナデビア株式会社
代理人弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
主分類G06T 7/00 20170101AFI20250402BHJP(計算;計数)
要約【課題】検出対象の検出を妨げる要因がある場合でも、検出対象を適切に検出することができる技術を提供する。
【解決手段】情報処理装置(1)は、搬送機械の上部旋回体に取り付けられ、下方側を撮影する第1撮影装置からの画像を取得して検出対象を検出する第1検出部(21)と、第1撮影装置とは異なる搬送機械の位置に取り付けられ、側方側を撮影する第2撮影装置からの画像を取得して検出対象を検出する第2検出部(22)と、第1撮影装置および第2撮影装置からの両方の画像、または第2撮影装置からのみの画像に基づいて、第2検出部(22)が検出対象を検出できない領域を抽出し、当該領域に応じて第1検出部(21)による検出結果および第2検出部(22)による検出結果を用いて検出対象を検出するか、第2検出部(22)による検出結果のみを用いて検出対象を検出するかを判定する利用画像判定部(113)と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置からの画像を取得して検出対象を検出する第１検出部と、
前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置からの画像を取得して前記検出対象を検出する第２検出部と、
前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する判定部と、を備える情報処理装置。
続きを表示（約 2,500 文字）【請求項２】
前記第１検出部は、前記第１撮影装置によって撮影された下方画像内に第１所定領域を設定し、
前記検出対象を検出できない領域は、前記第１所定領域のうち、前記第２撮影装置によって撮影された領域と重ならない領域であって、
前記判定部は、
前記検出対象を検出できない領域が第１所定領域に対して占める割合が所定値以下の場合、前記第２検出部による検出結果のみを用いて前記検出対象を検出し、
前記割合が前記所定値よりも大きい場合、前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出する、
請求項１に記載の情報処理装置。
【請求項３】
前記搬送機械は、クレーンであり、
前記第１撮影装置は、前記クレーンのブームの先端部近辺に取り付けられ、前記ブームのフックの下方側を上方から撮影しており、
前記第２撮影装置は、前記ブームのフックの下方側を側方から撮影する位置に取り付けられており、
前記第１検出部は、
前記ブームの水平方向に対する傾斜角度を特定する傾斜角度特定部と、
前記傾斜角度に応じた縮尺を適用して、前記第１撮影装置によって撮影された前記下方画像内に前記フックを中心とした前記第１所定領域を設定する領域設定部と、
前記第１所定領域内において前記検出対象を検出する対象検出部と、を含む、
請求項２に記載の情報処理装置。
【請求項４】
前記第２検出部は、
前記第２撮影装置によって撮影された側方画像において検出されたフックの下方であって、前記傾斜角度から求められた、前記第２撮影装置から前記フックまでの水平方向の距離に対応する位置に第２所定領域を設定する側方画像領域設定部と、
前記第２所定領域内において前記検出対象を検出する側方画像対象検出部と、を含む、
請求項３に記載の情報処理装置。
【請求項５】
前記検出対象を検出できない領域は、前記第２撮影装置によって撮影された側方画像において、前記検出対象を検出するときの障害物が重なる領域であって、
前記第２検出部は、前記第２撮影装置によって撮影された前記側方画像から前記検出対象を検出するときの前記障害物を検出し、
前記判定部は、
前記障害物の面積、または、前記側方画像において前記障害物が占める面積の割合が所定値以下の場合、前記第２検出部による検出結果のみを用いて前記検出対象を検出し、
前記障害物の面積、または、前記側方画像において前記障害物が占める面積の割合が前記所定値より大きい場合、前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出する、
請求項１に記載の情報処理装置。
【請求項６】
前記搬送機械は、クレーンであり、
前記第１撮影装置は、前記クレーンのブームの先端部近辺に取り付けられ、前記ブームのフックの下方側を上方から撮影しており、
前記第２撮影装置は、前記ブームのフックの下方側を側方から撮影する位置に取り付けられており、
前記第１検出部は、
前記ブームの水平方向に対する傾斜角度を特定する傾斜角度特定部と、
前記傾斜角度に応じた縮尺を適用して、前記第１撮影装置によって撮影された下方画像内に前記フックを中心とした第１所定領域を設定する領域設定部と、
前記第１所定領域内において前記検出対象を検出する対象検出部と、を含む、
請求項５に記載の情報処理装置。
【請求項７】
前記第２撮影装置は、前記クレーンの前記上部旋回体に取り付けられており、
前記第２検出部は、
前記第２撮影装置によって撮影された前記側方画像において検出されたフックの下方であって、前記傾斜角度から求められた、前記第２撮影装置から前記フックまでの水平方向の距離に対応する位置に第２所定領域を設定する側方画像領域設定部と、
前記第２撮影装置によって撮影された前記側方画像から前記クレーンを構成するフレームを前記障害物として検出すると共に、前記第２所定領域内において前記検出対象を検出する側方画像対象検出部と、を含む、
請求項６に記載の情報処理装置。
【請求項８】
前記側方画像対象検出部は、前記第２撮影装置によって撮影された前記側方画像内において、所定範囲内の色情報を有する画素の数が所定割合以上含まれる領域を前記フレームと判定する、
請求項７に記載の情報処理装置。
【請求項９】
前記第２検出部は、前記第１検出部と比較して、前記検出対象の検出率が高く、前記検出対象の誤検出率が低くなるように、前記第１撮影装置および前記第２撮影装置の取り付け位置が決定されている、
請求項１～８の何れか１項に記載の情報処理装置。
【請求項１０】
搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置と、
前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置と、
前記第１撮影装置からの画像を取得して検出対象を検出する第１検出部と、
前記第２撮影装置からの画像を取得して前記検出対象を検出する第２検出部と、
前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する判定部と、を備える情報処理システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
クレーンを使用して作業を行う工事現場等では、吊荷の落下事故などから地上の作業員の安全を確保するために、クレーンオペレータが目視で安全の確認等を行っている。しかし、作業員がクレーンオペレータの死角に入ることもあり、また、クレーンオペレータが見落とすことも想定される。このため、目視確認のみに頼った安全管理には改善の余地がある。
【０００３】
ここで、クレーンの作業の安全管理のための従来技術として、例えば下記の特許文献１の技術が挙げられる。特許文献１には、クレーンのブームの先端近傍に取り付けられる先端カメラと、クレーンの車体又は旋回台に取り付けられる周辺カメラの両画像を合成して表示することにより安全を確認するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１１－１５１７４２号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１では、複数のカメラを使ってクレーンの安全管理を目標としているが、クレーン近辺で作業している作業員を自動検出していない。一方、同じ対象物（作業員）を複数のカメラを用いて撮影する場合、カメラ毎の視点（例えば撮影角度）が異なるため、カメラ毎の検出・誤検出率が異なる。そのため、検出対象である作業員の検出が適切に行えない可能性がある。
【０００６】
本開示の一態様は、上記従来の課題に鑑みてなされたものであって、検出対象の検出を妨げる要因がある場合でも、検出対象を適切に検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置からの画像を取得して検出対象を検出する第１検出部と、前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置からの画像を取得して前記検出対象を検出する第２検出部と、前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する判定部と、を備える。
【０００８】
また、上記の課題を解決するために、本発明の一態様に係る情報処理システムは、搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置と、前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置と、前記第１撮影装置からの画像を取得して検出対象を検出する第１検出部と、前記第２撮影装置からの画像を取得して前記検出対象を検出する第２検出部と、前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する判定部と、を備える。
【０００９】
また、上記の課題を解決するために、本発明の一態様に係る情報処理方法は、搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置からの画像を取得して検出対象を検出する工程と、前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置からの画像を取得して前記検出対象を検出する工程と、前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する工程と、を含む。
【００１０】
また、上記の課題を解決するために、本発明の一態様に係るプログラムは、コンピュータに、搬送機械の上部旋回体に取り付けられ、下方側を撮影する第１撮影装置からの画像を取得して検出対象を検出する処理と、前記第１撮影装置とは異なる前記搬送機械の位置に取り付けられ、側方側を撮影する第２撮影装置からの画像を取得して前記検出対象を検出する処理と、前記第１撮影装置および前記第２撮影装置からの両方の画像、または前記第２撮影装置からのみの画像に基づいて、前記第２検出部が前記検出対象を検出できない領域を抽出し、当該領域に応じて前記第１検出部による検出結果および前記第２検出部による検出結果を用いて前記検出対象を検出するか、前記第２検出部による検出結果のみを用いて前記検出対象を検出するかを判定する処理と、を実行させる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許