特許ウォッチ

公開番号2025080887
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2023194245
出願日2023-11-15
発明の名称機械学習システム
出願人トヨタ自動車株式会社
代理人弁理士法人明成国際特許事務所
主分類G06T 7/00 20170101AFI20250520BHJP(計算;計数)
要約【課題】移動体を無人運転により移動させるために用いられる機械学習モデルを適切に学習できる技術を提供する。
【解決手段】機械学習システムは、無人運転により移動可能な移動体を表す3次元点群情報を取得する測距装置と、移動体を含む撮像画像を取得する外部カメラと、3次元点群情報を用いて、移動体の位置および向きを算出する算出部と、撮像画像が入力された場合に信号生成用パラメータを出力する機械学習モデルを学習させる学習部であって、撮像画像と、算出部によって算出された位置および向きを用いて生成される正解ラベルと、を関連付けた1以上の学習用データセットを用いて機械学習モデルを学習させる学習部と、を備え、信号生成用パラメータは、無人運転により移動体を移動させるために移動体の動作を規定する制御信号を生成するときに用いられるパラメータである。
【選択図】図4
特許請求の範囲【請求項１】
機械学習システムであって、
無人運転により移動可能な移動体を外部から検出することで、前記移動体を表す３次元点群情報を取得する測距装置と、
前記移動体を外部から撮像することで、前記移動体を含む撮像画像を取得する外部カメラと、
前記３次元点群情報を用いて、前記移動体の位置および向きを算出する算出部と、
前記撮像画像が入力された場合に信号生成用パラメータを出力する機械学習モデルを学習させる学習部であって、前記撮像画像と、前記算出部によって算出された前記位置および前記向きを用いて生成される正解ラベルと、を関連付けた１以上の学習用データセットを用いて前記機械学習モデルを学習させる学習部と、を備え、
前記信号生成用パラメータは、前記無人運転により前記移動体を移動させるために前記移動体の動作を規定する制御信号を生成するときに用いられるパラメータである、機械学習システム。
続きを表示（約 700 文字）【請求項２】
請求項１に記載の機械学習システムであって、
前記算出部によって算出された前記位置および前記向きは、前記制御信号を生成するための信号生成処理と、前記正解ラベルを生成するためのラベル生成処理と、にそれぞれ用いられる、機械学習システム。
【請求項３】
請求項１に記載の機械学習システムであって、
前記信号生成用パラメータは、矩形座標と立体座標との少なくとも一方であり、
前記矩形座標は、前記撮像画像において、前記移動体が移動する路面に前記移動体を投影した場合に、前記移動体が占める領域を囲むように設定される矩形の４つの頂点の座標であり、
前記立体座標は、前記撮像画像において、前記移動体を囲むように設定される直方体の８つの頂点の座標である、機械学習システム。
【請求項４】
請求項１に記載の機械学習システムであって、
前記学習用データセットは、さらに、前記撮像画像および前記正解ラベルに関連付けられた付帯情報であって、前記機械学習モデルの出力結果に影響を与える要素に関する付帯情報を有する、機械学習システム。
【請求項５】
請求項１に記載の機械学習システムであって、
前記学習部は、
前記移動体の種別ごとに複数の前記機械学習モデルを学習させる個別学習処理と、
前記撮像画像および前記正解ラベルに前記移動体の種別に関する付帯情報を関連付けた前記学習用データセットを用いて１つの前記機械学習モデルを学習させる一斉学習処理と、の少なくとも一方を実行する、機械学習システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習システムに関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
従来、車両外部のカメラを用いて車両の走行を監視することで、遠隔制御によって車両を自動走行させる技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特表２０１７－５３８６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両等の移動体を無人運転により移動させるために、カメラによって撮像された移動体を含む画像を機械学習モデルに入力することで、移動体の動作を規定する制御信号を生成するためのパラメータを取得する場合がある。この場合に、機械学習モデルを適切に学習できる方法が望まれる。
【課題を解決するための手段】
【０００５】
本開示は、以下の形態として実現することが可能である。
【０００６】
（１）本開示の第１形態によれば、機械学習システムが提供される。機械学習システムは、無人運転により移動可能な移動体を外部から検出することで、前記移動体を表す３次元点群情報を取得する測距装置と、前記移動体を外部から撮像することで、前記移動体を含む撮像画像を取得する外部カメラと、前記３次元点群情報を用いて、前記移動体の位置および向きを算出する算出部と、前記撮像画像が入力された場合に信号生成用パラメータを出力する機械学習モデルを学習させる学習部であって、前記撮像画像と、前記算出部によって算出された前記位置および前記向きを用いて生成される正解ラベルと、を関連付けた１以上の学習用データセットを用いて前記機械学習モデルを学習させる学習部と、を備え、前記信号生成用パラメータは、前記無人運転により前記移動体を移動させるために前記移動体の動作を規定する制御信号を生成するときに用いられるパラメータである。この形態によれば、機械学習システムは、３次元点群情報から算出された車両の位置および向きを用いて生成される正解ラベルを撮像画像に関連付けた１以上の学習用データセットを用いて、機械学習モデルを学習させることができる。このようにすると、人が手作業で撮像画像に正解ラベルを付す作業を行うことなく、機械学習モデルを学習させることができる。これにより、機械学習モデルを学習させるための準備に要する時間および工数等の負荷を低減することができる。よって、機械学習モデルを適切に学習できる。
（２）上記形態であって、前記算出部によって算出された前記位置および前記向きは、前記制御信号を生成するための信号生成処理と、前記正解ラベルを生成するためのラベル生成処理と、にそれぞれ用いられてもよい。この形態によれば、機械学習システムは、３次元点群情報を用いて算出された車両の位置および向きを、信号生成処理と、ラベル生成処理と、にそれぞれ用いることができる。このようにすると、無人運転の制御を実行している期間において、正解ラベルを生成したり、学習用データセットを作成したり、機械学習モデルを学習したりすることができる。
（３）上記形態であって、前記信号生成用パラメータは、矩形座標と立体座標との少なくとも一方であり、前記矩形座標は、前記撮像画像において、前記移動体が移動する路面に前記移動体を投影した場合に、前記移動体が占める領域を囲むように設定される矩形の４つの頂点の座標であり、前記立体座標は、前記撮像画像において、前記移動体を囲むように設定される直方体の８つの頂点の座標であってもよい。この形態によれば、機械学習システムは、撮像画像が入力された場合に、矩形座標と立体座標との少なくとも一方を信号生成用パラメータとして出力する機械学習モデルを学習させることができる。
（４）上記形態であって、前記学習用データセットは、さらに、前記撮像画像および前記正解ラベルに関連付けられた付帯情報であって、前記機械学習モデルの出力結果に影響を与える要素に関する付帯情報を有してもよい。この形態によれば、機械学習システムは、機械学習モデルの出力結果に影響を与える要素に関する付帯情報を撮像画像および正解ラベルに関連付けた１以上の学習用データセットを用いて、機械学習モデルを学習させることができる。これにより、機械学習モデルから出力される信号生成用パラメータの精度を向上させることができる。
（５）上記形態であって、前記学習部は、前記移動体の種別ごとに複数の前記機械学習モデルを学習させる個別学習処理と、前記撮像画像および前記正解ラベルに前記移動体の種別に関する付帯情報を関連付けた前記学習用データセットを用いて１つの前記機械学習モデルを学習させる一斉学習処理と、の少なくとも一方を実行してもよい。この形態によれば、機械学習システムは、個別学習処理を実行することで、車両の種別ごとに複数の機械学習モデルを学習させることができる。また、機械学習システムは、一斉学習処理を実行することで、車両の種別に関する付帯情報を撮像画像および正解ラベルに関連付けた１以上の学習用データセットを用いて、機械学習モデルを学習させることができる。このようにすると、機械学習モデルから出力される信号生成用パラメータの精度を向上させることができる。
本開示は、上記の機械学習システム以外の種々の形態で実現することが可能である。例えば、機械学習システムに含まれる測距装置、外部カメラ、機械学習装置、移動体、これらの製造方法、および、これらの制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【０００７】
第１実施形態における走行システムの構成を示すブロック図である。
矩形座標を説明するための図である。
第１実施形態における車両の走行制御手順を示すフローチャートである。
第１実施形態における学習中期間の処理内容を示すフローチャートである。
第１実施形態における学習済期間の処理内容を示すフローチャートである。
第２実施形態における走行システムの構成を示すブロック図である。
立体座標を説明するための図である。
第２実施形態における学習中期間の処理内容を示すフローチャートである。
第２実施形態での学習済期間の処理内容を示す第１フローチャートである。
第２実施形態での学習済期間の処理内容を示す第２フローチャートである。
第３実施形態における走行システムの構成を示すブロック図である。
第３実施形態における車両の走行制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１は、第１実施形態における走行システム５０の構成を示すブロック図である。走行システム５０は、移動体に搭乗した搭乗者の走行操作によることなく、移動体を移動させるためのシステムである。走行システム５０は、移動体としての１以上の車両１００と、機械学習システム７と、遠隔制御装置８０と、を備える。
【０００９】
機械学習システム７は、車両１００を無人運転により移動させるために用いられる機械学習モデルＤＭとしての第１学習モデルＤＭ１を学習させるためのシステムである。機械学習モデルＤＭは、車両１００を含む撮像画像が入力された場合に、信号生成用パラメータを出力する。信号生成用パラメータは、走行制御信号を生成するときに用いられるパラメータである。走行制御信号は、無人運転により車両１００を移動させるために、車両１００の動作を規定する制御信号である。機械学習システム７は、外部センサ３００としての外部ＬｉＤＡＲ３１０および外部カメラ３２０と、機械学習装置７０と、を備える。本実施形態では、機械学習装置７０の機能と遠隔制御装置８０の機能とは、サーバ２００によって実現される。
【００１０】
本開示において、「移動体」は、移動し得る物体を意味し、例えば、車両１００や電動垂直離着陸機（いわゆる空飛ぶ自動車）である。車両１００は、車輪によって走行する車両１００であっても無限軌道によって走行する車両１００であってもよく、例えば、乗用車、トラック、バス、二輪車、四輪車、戦車、工事用車両などである。車両１００は、電気自動車（BEV：Battery Electric Vehicle）、ガソリン自動車、ハイブリッド自動車、ならびに燃料電池自動車を含む。移動体が車両１００以外である場合には、本開示における「車両」「車」との表現を、適宜に「移動体」に置き換えることができ、「走行」との表現を、適宜に「移動」に置き換えることができる。
（【００１１】以降は省略されています）

関連特許