特許ウォッチ

公開番号2025086696
公報種別公開特許公報(A)
公開日2025-06-09
出願番号2023200888
出願日2023-11-28
発明の名称画像処理装置、画像処理方法および障害物検知システム
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06T 7/70 20170101AFI20250602BHJP(計算;計数)
要約【課題】撮像された画像内の物体の位置によらず、2次元座標から3次元座標を精度よく推定することができる画像処理装置等を提供する。
【解決手段】列車100の前方を撮像する複数のカメラにて撮像した画像中の物体の3次元座標を算出する画像処理装置110であって、画像に基づき、視差情報を取得する視差情報取得部111と、画像を用いて物体の検出を行うとともに、画像中で物体の検出がされた箇所として第1の領域を設定する物体検出部112と、第1の領域内で視差情報が小さい箇所における視差情報の代表値を抽出する視差情報抽出部113と、視差情報抽出部により抽出された代表値に基づき、第1の領域の2次元座標を3次元座標に変換する座標変換部114と、を備えることを特徴とする画像処理装置110。
【選択図】図1

特許請求の範囲【請求項１】
移動体の前方を撮像する複数のカメラにて撮像した画像中の物体の３次元座標を算出する画像処理装置であって、
前記画像に基づき、視差情報を取得する視差情報取得部と、
前記画像を用いて物体の検出を行うとともに、前記画像中で物体の検出がされた箇所として第１の領域を設定する物体検出部と、
前記第１の領域内で視差情報が小さい箇所における視差情報の代表値を抽出する視差情報抽出部と、
前記視差情報抽出部により抽出された前記代表値に基づき、前記第１の領域の２次元座標を３次元座標に変換する座標変換部と、
を備えることを特徴とする画像処理装置。
続きを表示（約 980 文字）【請求項２】
前記視差情報抽出部は、前記第１の領域内の視差情報のばらつきに応じて前記第１の領域を分割することで複数の第２の領域を設定し、複数の前記第２の領域の中で視差情報が小さくなる箇所における視差情報の代表値を抽出する請求項１に記載の画像処理装置。
【請求項３】
前記第２の領域は、前記第１の領域の大きさに基づき、前記画像の上下方向および左右方向の分割数を求め、前記分割数により前記第１の領域を分割することにより設定する請求項２に記載の画像処理装置。
【請求項４】
前記分割数は、前記第２の領域に含まれる画素数が予め定められた画素数に近くなるように求める請求項３に記載の画像処理装置。
【請求項５】
前記移動体は、列車であり、前記物体検出部は、列車が走行する軌道の周囲の物体を検出する請求項１に記載の画像処理装置。
【請求項６】
前記物体検出部は、前記軌道の周囲の物体として、信号機および保安員の少なくとも一方を検出する請求項５に記載の画像処理装置。
【請求項７】
前記画像は、複数のカメラを内蔵するステレオカメラにより撮像された画像である請求項１に記載の画像処理装置。
【請求項８】
前記代表値は、視差情報の最頻値、平均値、中央値およびk-meanの少なくとも一つである請求項１に記載の画像処理装置。
【請求項９】
前記移動体は、自動車であり、前記物体検出部は、衝突するおそれがある物体を検出する請求項１に記載の画像処理装置。
【請求項１０】
移動体の前方を撮像する複数のカメラにて撮像した画像中の物体の３次元座標を算出する画像処理方法であって、
プロセッサがメモリに記録されたプログラムを実行することにより、
前記画像に基づき、視差情報を取得し、
前記画像を用いて物体の検出を行うとともに、前記画像中で物体の検出がされた箇所として第１の領域を設定し、
前記第１の領域内で視差情報が小さい箇所における視差情報の代表値を抽出し、
抽出された前記代表値に基づき、前記第１の領域の２次元座標を３次元座標に変換する、
画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、障害物検知システムに関する。本発明は、特に、移動体に搭載されたカメラにより撮像された画像中の物体の３次元座標を算出するのに適した画像処理装置等に関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
近年、運転士の高齢化に伴う人材不足への懸念やオペレーションコストの低減などの理由により、既設の軌道輸送システムにおいて、運転を自動で行う研究が行われている。軌道上を輸送用車両が走行する軌道輸送システムでは、軌道上に障害物があった場合、操舵による回避が出来ないことから、軌道上の障害物を検知することは、軌道輸送システムの安全性や運用性を向上させるために重要である。現状は、運転士が軌道上および経路上の障害物を目視によって検知している。一方、無人運転を行うには、経路上の障害物を自動で検知する仕組みが必要となり、ミリ波レーダー、レーザーレーダー、カメラなど外界センサを用いる方法が研究されている。
【０００３】
特許文献１には、対象物検出部で、過去の撮像画像から求められた対象物の路面上の位置、及び車両運動情報に基づいて、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出することが記載されている。そして、第１の位置推定部で、検出枠範囲判定部で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定することが記載されている。さらに、第２の位置推定部で、検出サイズ判定部で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像における対象物に対する現在の撮像画像における対象物の拡大率に基づいて、対象物の路面上の現在位置を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０１１－６５３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラにより撮像された画像を使用して軌道上の障害物を検知するには、画像中の物体を検出し、検出された物体の３次元座標が軌道の周囲に存在するか判別する必要がある。この場合、画像中の物体の２次元座標から３次元座標を推定する必要がある。
しかしながら、従来は、検出対象物の足元が見えていることを前提条件としているため、足元が見えていない場合、３次元座標を正しく推定できないことがある。
本発明は、撮像された画像内の物体の位置によらず、２次元座標から３次元座標を精度よく推定することができる画像処理装置、画像処理方法を提供することを目的とする。また、障害物を精度よく検知することができる障害物検知システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため本発明は、移動体の前方を撮像する複数のカメラにて撮像した画像中の物体の３次元座標を算出する画像処理装置であって、画像に基づき、視差情報を取得する視差情報取得部と、画像を用いて物体の検出を行うとともに、画像中で物体の検出がされた箇所として第１の領域を設定する物体検出部と、第１の領域内で視差情報が小さい箇所における視差情報の代表値を抽出する視差情報抽出部と、視差情報抽出部により抽出された代表値に基づき、第１の領域の２次元座標を３次元座標に変換する座標変換部と、を備えることを特徴とする画像処理装置である。この場合、撮像された画像内の物体の位置によらず、２次元座標から３次元座標を精度よく推定することができる画像処理装置を提供できる。
【０００７】
ここで、例えば、視差情報抽出部は、第１の領域内の視差情報のばらつきに応じて第１の領域を分割することで複数の第２の領域を設定し、複数の第２の領域の中で視差情報が小さくなる箇所における視差情報の代表値を抽出する。この場合、第１の領域内で物体が実際に存在する箇所を特定できる。
また、例えば、第２の領域は、第１の領域の大きさに基づき、画像の上下方向および左右方向の分割数を求め、分割数により第１の領域を分割することにより設定する。この場合、第２の領域に含まれる領域の大きさを概ね同じにすることができる。
さらに、例えば、分割数は、第２の領域に含まれる画素数が予め定められた画素数に近くなるように求める。この場合、第２の領域に含まれる領域の大きさを概ね同じにすることができる。
またさらに、例えば、移動体は、列車であり、物体検出部は、列車が走行する軌道の周囲の物体を検出する。この場合、列車に対し障害となる物体を検出できる。
そして、例えば、物体検出部は、軌道の周囲の物体として、信号機および保安員の少なくとも一方を検出する。この場合、検出する必要性が高い物体を検出できる。
また、例えば、画像は、複数のカメラを内蔵するステレオカメラにより撮像された画像である。この場合、遠距離の物体でも検出できる。
さらに、例えば、代表値は、視差情報の最頻値、平均値、中央値およびk-meanの少なくとも一つである。この場合、代表値として適したものが算出できる。
またさらに、例えば、移動体は、自動車であり、物体検出部は、衝突するおそれがある物体を検出する。この場合、自動車に対し障害となる物体を検出できる。
【０００８】
また、本発明は、移動体の前方を撮像する複数のカメラにて撮像した画像中の物体の３次元座標を算出する画像処理方法であって、プロセッサがメモリに記録されたプログラムを実行することにより、画像に基づき、視差情報を取得し、画像を用いて物体の検出を行うとともに、画像中で物体の検出がされた箇所として第１の領域を設定し、第１の領域内で視差情報が小さい箇所における視差情報の代表値を抽出し、抽出された代表値に基づき、第１の領域の２次元座標を３次元座標に変換する、画像処理方法である。この場合、撮像された画像内の物体の位置によらず、２次元座標から３次元座標を精度よく推定することができる画像処理方法を提供できる。
【０００９】
ここで、例えば、移動体は、列車であり、列車が走行する軌道の周囲の物体を検出する。この場合、列車に対し障害となる物体を検出できる。
また、例えば、軌道の周囲の物体として、信号機および保安員の少なくとも一方を検出する。この場合、検出する必要性が高い物体を検出できる。
さらに、例えば、画像は、複数のカメラを内蔵するステレオカメラにより撮像された画像である。この場合、遠距離の物体でも検出できる。
またさらに、例えば、代表値は、視差情報の最頻値、平均値、中央値およびk-meanの少なくとも一つである。この場合、代表値として適したものが算出できる。
【００１０】
さらに、本発明は、障害物を検知する障害物検知システムであって、移動体の前方を撮像する複数のカメラにて撮像した画像中の物体の３次元座標を算出する画像処理装置と画像処理装置が算出した物体の３次元座標に応じて障害物を検知する検知装置と、を備え、画像処理装置は、画像に基づき、視差情報を取得する視差情報取得部と、画像を用いて物体の検出を行うとともに、画像中で物体の検出がされた箇所として第１の領域を設定する物体検出部と、第１の領域内で視差情報が小さい箇所における視差情報の代表値を抽出する視差情報抽出部と、視差情報抽出部により抽出された代表値に基づき、第１の領域の２次元座標を３次元座標に変換する座標変換部と、を備える障害物検知システムである。この場合、障害物を精度よく検知することができる障害物検知システムを提供できる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許