特許ウォッチ

公開番号2025073845
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2023184954
出願日2023-10-27
発明の名称作物の位置検出装置及び収穫装置
出願人国立大学法人北海道国立大学機構,国立大学法人北海道大学
代理人弁理士法人ATEN
主分類G06T 7/70 20170101AFI20250502BHJP(計算;計数)
要約【課題】作物の特定の部分の位置を正確に取得しやすい。
【解決手段】深度カメラであるハンドカメラ140によるブドウの撮影結果に基づいて、ブドウを含む空間にある物体に対応する点群の3次元位置が取得される。ハンドカメラ認識処理部152は、ハンドカメラ140によるブドウの撮影結果を示す画像データをブドウの各部分に係る領域に分割するセグメンテーション処理を実行する。ハンドカメラ認識処理部152は、3次元位置が取得された点群から、ブドウの房に係る領域に対応する点群を抽出する。ハンドカメラ認識処理部152は、抽出したブドウの房に係る点群の3次元位置に基づいてブドウの穂軸のカットポイント位置を推定する。
【選択図】図1
特許請求の範囲【請求項１】
深度カメラと、
前記深度カメラによる作物の撮影結果に基づいて、作物を含む空間にある物体に対応する点群の３次元位置を取得する物体位置取得手段と、
演算部と、を備えており、
前記演算部が、
前記深度カメラによる作物の撮影結果を示す画像データに基づいて作物の各部分を認識する部分認識処理と、
前記物体位置取得手段が３次元位置を取得した前記点群から、前記部分認識処理により認識された前記各部分に対応する点群である部分点群を抽出する部分点抽出処理と、
位置検出の対象となる目的点を含まない作物の部分である非目的部分に関して前記部分点抽出処理により抽出した前記部分点群に基づいて前記目的点の位置を推定する目的位置推定処理とを実行することを特徴とする作物の位置検出装置。
続きを表示（約 1,800 文字）【請求項２】
前記演算部が、
前記目的点を含む作物の部分である目的部分に関して前記部分点抽出処理により抽出した前記部分点群に基づいて取得される前記目的点の位置である第１候補位置と、前記目的位置推定処理により推定した前記目的点の位置である前記第２候補位置とのいずれかを前記目的点の位置として確定するか、或いは、両者を演算した結果を前記目的点の位置の検出結果として確定する目的位置確定処理とをさらに実行することを特徴とする請求項１に記載の作物の位置検出装置。
【請求項３】
前記演算部が、前記目的位置推定処理において、
前記目的部分に関して前記部分点抽出処理により抽出した前記部分点群における点の数と、前記目的部分に関して前記部分点抽出処理により抽出された前記部分点群と前記非目的部分に関して前記部分点抽出処理により抽出された前記部分点群との位置関係との少なくともいずれかに基づいて、前記第１候補位置及び前記第２候補位置のいずれかを前記目的点の位置として確定することを特徴とする請求項２に記載の作物の位置検出装置。
【請求項４】
前記部分点抽出処理が、
前記物体位置取得手段が３次元位置を取得した前記点群に含まれる複数の点であって、前記部分認識処理により認識された前記各部分と２次元位置が対応する前記複数の点の深度に関するヒストグラムである深度ヒストグラムを前記各部分について取得するヒストグラム取得処理と、
前記ヒストグラム取得処理により取得された前記深度ヒストグラムにおいて深度の分布範囲の中央部分に対応するものを前記部分点群として抽出する中央部分抽出処理とを含んでいることを特徴とする請求項１に記載の作物の位置検出装置。
【請求項５】
前記画像データが、前記深度カメラが作物を撮影した時系列の順に並んだ複数のフレームを含んでおり、
前記ヒストグラム取得処理が、
前記複数のフレームのそれぞれについて前記部分認識処理により取得された前記作物の各部分と２次元位置が対応する前記複数の点の深度に関するヒストグラムであるフレーム単位ヒストグラムを取得するフレーム単位ヒストグラム取得処理と、
前記複数のフレームについて前記フレーム単位ヒストグラム取得処理により取得された複数の前記フレーム単位ヒストグラムに基づいて前記深度ヒストグラムを取得するヒストグラム演算処理とを含んでいることを特徴とする請求項４に記載の作物の位置検出装置。
【請求項６】
前記演算部が、前記画像データに基づいて作物を囲む矩形枠を取得する枠取得処理をさらに実行し、
前記部分認識処理が、前記枠取得処理により取得された前記矩形枠に基づいて設定された前記画像データ中の領域に対して行われることを特徴とする請求項１に記載の作物の位置検出装置。
【請求項７】
前記部分認識処理が、位置検出の対象となる作物が結果した枝を認識する処理を含んでおり、
前記目的位置推定処理が、
前記部分認識処理により認識された前記枝の位置と前記非目的部分との位置関係に基づいて前記目的点の位置を推定する処理であることを特徴とする請求項１に記載の作物の位置検出装置。
【請求項８】
請求項１～７のいずれか１項に記載の作物の位置検出装置と、
切断器具を有し、前記作物の位置検出装置が検出した前記目的点の位置まで前記切断器具を移動させると共に前記切断器具で前記作物を切断する切断手段と、
前記位置検出装置及び前記切断手段を支持し、前記作物の近傍まで走行する走行手段とを備えていることを特徴とする収穫装置。
【請求項９】
前記部分認識処理が、前記位置検出装置による位置検出の対象となる作物が結果した枝を認識する処理を含んでおり、
前記部分点抽出処理が、前記物体位置取得手段が３次元位置を取得した前記点群から、前記部分認識処理により認識された前記枝に対応する点群である部分点群を抽出する処理を含んでおり、
前記切断手段が、前記枝に関して前記部分点抽出処理により抽出した前記部分点群の位置に基づいて前記切断器具の移動態様を調整することを特徴とする請求項８に記載の収穫装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、作物の位置検出装置及び収穫装置に関する。
続きを表示（約 2,100 文字）【背景技術】
【０００２】
従来、カメラによる作物の撮影結果に基づいて作物の位置を取得する装置がある。特許文献１はこのような装置の一例に関し、第１撮像部及び第２撮像部による２段階の撮像結果に基づいて、収穫するべき作物の位置を特定し、これを収穫するものである。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－４０５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作物の特定の部分の位置を正確に取得することが要請される場合がある。例えば、作物を適切に収穫するためには、作物の特定の部分におけるカットポイントの位置を正確に取得する必要がある。一方、位置検出の対象となる作物の周囲の環境や作物自体の形状の特徴によって、このような特定の部分の位置を正確に取得するのが容易でない場合がある。
【０００５】
本発明の目的は、作物の特定の部分の位置を正確に取得しやすい作物の位置検出装置及び収穫装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る作物の位置検出装置は、深度カメラと、前記深度カメラによる作物の撮影結果に基づいて、作物を含む空間にある物体に対応する点群の３次元位置を取得する物体位置取得手段と、演算部と、を備えており、前記演算部が、前記深度カメラによる作物の撮影結果を示す画像データに基づいて作物の各部分を認識する部分認識処理と、前記物体位置取得手段が３次元位置を取得した前記点群から、前記部分認識処理により認識された前記各部分に対応する点群である部分点群を抽出する部分点抽出処理と、位置検出の対象となる目的点を含まない作物の部分である非目的部分に関して前記部分点抽出処理により抽出した前記部分点群に基づいて前記目的点の位置を推定する目的位置推定処理とを実行する。
【０００７】
本発明者らは、鋭意研究の結果、作物の特定の部分（つまり、目的部分）の位置を正確に取得するのが容易でない場合には、その特定の部分以外の部分（つまり、非目的部分）に基づくことで正確な位置を取得しやすくなることに到達した。本発明の作物の位置検出装置によると、位置を検出する対象となる目的点の位置を、目的点を含まない非目的部分に関して抽出された部分点群に基づいて推定する。このように、目的点を含む目的部分の位置の正確な検出が容易でない場合にその他の部分に基づく位置推定を行うことで正確な位置を取得しやすくなる。
【０００８】
また、本発明においては、前記演算部が、前記目的点を含む作物の部分である目的部分に関して前記部分点抽出処理により抽出した前記部分点群に基づいて取得される前記目的点の位置である第１候補位置と、前記目的位置推定処理により推定した前記目的点の位置である前記第２候補位置とのいずれかを前記目的点の位置として確定するか、或いは、両者を演算した結果を前記目的点の位置の検出結果として確定する目的位置確定処理とをさらに実行することが好ましい。これによると、目的部分に関して抽出された点群に基づく第１候補位置と、非目的部分に関して抽出された点群に基づく第２候補位置とのいずれかを選択できる。したがって、どちらか適切な方法を選ぶことができるので、より正確な位置が取得されやすい。なお、本発明において、「両者を演算した結果」とは、例えば、第１候補位置の座標と第２候補位置の座標とを加重平均した結果を表す。
【０００９】
また、本発明においては、前記演算部が、前記目的位置推定処理において、前記目的部分に関して前記部分点抽出処理により抽出した前記部分点群における点の数と、前記目的部分に関して前記部分点抽出処理により抽出された前記部分点群と前記非目的部分に関して前記部分点抽出処理により抽出された前記部分点群との位置関係との少なくともいずれかに基づいて、前記第１候補位置及び前記第２候補位置のいずれかを前記目的点の位置として確定することが好ましい。これによると、上記点の数や位置関係は第１候補位置の信頼度を表す指標となる。したがって、第１候補位置の信頼度に基づいて目的点の位置が適切に確定される。
【００１０】
また、本発明においては、前記部分点抽出処理が、前記物体位置取得手段が３次元位置を取得した前記点群に含まれる複数の点であって、前記部分認識処理により認識された前記各部分と２次元位置が対応する前記複数の点の深度に関するヒストグラムである深度ヒストグラムを前記各部分について取得するヒストグラム取得処理と、前記ヒストグラム取得処理により取得された前記深度ヒストグラムにおいて深度の分布範囲の中央部分に対応するものを前記部分点群として抽出する中央部分抽出処理とを含んでいることが好ましい。これによると、ヒストグラムの中央部分に対応する点群を抽出することで、作物の各部分を適切に表す点群を抽出できる。
（【００１１】以降は省略されています）

関連特許