特許ウォッチ

公開番号2025120641
公報種別公開特許公報(A)
公開日2025-08-18
出願番号2024015584
出願日2024-02-05
発明の名称機械学習装置、機械学習方法、及び機械学習プログラム並びに経路生成装置
出願人三菱重工業株式会社
代理人個人,個人,個人
主分類G06N 20/00 20190101AFI20250808BHJP(計算;計数)
要約【課題】非線形モデルや複雑な制約を含む問題を扱うことが可能であるとともに、計算負荷の軽減を図ること。
【解決手段】機械学習装置10は、入力された行動を用いて次のタイムステップにおける状態を計算するシミュレータ20と、方策関数を用いて、シミュレータ20の出力に対して対象移動体がとるべき行動を演算する行動演算部51と、対象移動体と対象移動体の観測対象である観測移動体との位置関係に基づく報酬条件を含む、複数の報酬条件を有し、シミュレータ20から出力された状態及び行動演算部51から出力された行動を用いて、複数の報酬条件に基づく報酬を演算する報酬演算部52と、報酬演算部52によって出力された報酬、シミュレータ20から出力された状態、行動演算部51から出力された行動を蓄積し、蓄積したデータに基づいて方策関数を更新する学習部53とを備える。
【選択図】図2

特許請求の範囲【請求項１】
対象移動体が目標状態に至るまでの移動経路生成に適用される機械学習装置であって、
初期状態又は直前のタイムステップにおける状態と、入力された行動とを用いて次のタイムステップにおける状態を計算するシミュレータと、
方策関数を用いて、前記シミュレータの出力に対して前記対象移動体がとるべき行動を演算する行動演算部と、
対象移動体と前記対象移動体の観測対象である観測移動体との位置関係に基づく報酬条件を含む、複数の報酬条件を有し、前記シミュレータから出力された状態及び前記行動演算部から出力された行動を用いて、複数の前記報酬条件に基づく報酬を演算する報酬演算部と、
前記報酬演算部によって出力された報酬、前記シミュレータから出力された状態、前記行動演算部から出力された行動を蓄積し、蓄積したデータに基づいて前記方策関数を更新する学習部と
を備える機械学習装置。
続きを表示（約 1,400 文字）【請求項２】
前記報酬演算部は、前記対象移動体が目標状態を満たすことを規定した第１報酬条件を有し、対象移動体が目標状態を満たしたときに正の報酬である成功報酬を付与する請求項１に記載の機械学習装置。
【請求項３】
前記報酬演算部は、前記対象移動体の観測領域と前記観測移動体の位置とに基づく第２報酬条件を有する請求項１に記載の機械学習装置。
【請求項４】
前記報酬演算部は、前記観測移動体が前記対象移動体の観測領域外に位置する場合に、負の報酬である失敗報酬を付与する請求項３に記載の機械学習装置。
【請求項５】
前記第２報酬条件は、前記対象移動体の固定座標系における座標及び方位によって規定されており、
前記報酬演算部は、前記シミュレータが用いる絶対座標系を前記対象移動体の固定座標系に座標変換し、座標変換後の前記対象移動体及び前記観測移動体の座標及び方位に基づいて前記第２報酬条件を満たすか否かを判定する請求項４に記載の機械学習装置。
【請求項６】
前記報酬演算部は、前記観測移動体の侵入禁止領域と前記対象移動体の位置とに基づく第３報酬条件を有する請求項１に記載の機械学習装置。
【請求項７】
前記報酬演算部は、前記対象移動体が前記観測移動体の侵入禁止領域に位置する場合に、負の報酬である失敗報酬を付与する請求項６に記載の機械学習装置。
【請求項８】
前記第３報酬条件は、前記観測移動体の固定座標系における座標及び方位によって規定されており、
前記報酬演算部は、前記シミュレータが用いる絶対座標系又は前記対象移動体の固定座標系を前記観測移動体の固定座標系に座標変換し、座標変換後の前記観測移動体及び前記対象移動体の座標及び方位に基づいて前記第３報酬条件を満たすか否かを判定する請求項７に記載の機械学習装置。
【請求項９】
前記報酬演算部は、前記対象移動体の進行方向に対する観測移動体の方向に関する正の報酬である角度報酬、前記対象移動体が目標状態に接近したことに関する正の報酬である距離報酬、前記対象移動体が目標状態を満たすまでの時間に応じた負の報酬である最短時間報酬、前記対象移動体の方向転換角度指令に応じた負の報酬である方向転換角度報酬、及び前記対象移動体の速度に応じた負の報酬である速度報酬の少なくともいずれか一つを付与する請求項１に記載の機械学習装置。
【請求項１０】
対象移動体が目標状態に至るまでの移動経路生成に適用される機械学習方法であって、
初期状態又は直前のタイムステップにおける状態と、入力された行動とを用いて次のタイムステップにおける状態を計算する状態遷移演算工程と、
方策関数を用いて、前記状態遷移演算工程で演算された状態に対して前記対象移動体がとるべき行動を演算する行動演算工程と、
対象移動体と前記対象移動体の観測対象である観測移動体との位置関係に基づく報酬条件を含む複数の報酬条件を有し、前記状態遷移演算工程で算出された状態に対して複数の前記報酬条件に基づく報酬を演算する報酬演算工程と、
前記状態遷移演算工程で算出された状態、該状態に対する報酬、及び該状態に対する前記対象移動体がとるべき行動を蓄積し、蓄積した情報に基づいて前記方策関数を更新する学習工程と
をコンピュータが実行する機械学習方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、機械学習装置、機械学習方法、及び機械学習プログラム並びに経路生成装置に関するものである。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
従来、障害及び脅威対象を避けながら目標点まで到達する経路を生成する技術が提案されている。
例えば、特許文献１には、地形追随飛行を実行する航空機を対象とし、航空機の動力特性や障害物との衝突及び脅威対象の視認性などを考慮した軌道生成の問題を混合線形計画問題として定式化し、これを解くことで、開始地点から目的地点までの軌道を生成することが開示されている。特許文献１には、単位時間におけるあらゆる脅威対象に対して見えないことを保証する制約条件を用いるとともに、時間、エネルギー等の要素を考慮して最も均衡のとれた軌道を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
特許第４８５２６８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された発明では、最適化計算を問題が与えられる毎に実施することから、計算負荷が大きくオンラインでの使用に制限があるとの問題があった。また、自機の運動方程式が線形モデルに限られる、脅威対象が視認可能なエリアを自由に設定できないなどの問題があった。また、特許文献１に開示された発明では、脅威対象の位置は固定されており、脅威対象が移動するような場合に対応できないという問題があった。
【０００５】
本開示は、このような事情に鑑みてなされたものであって、非線形モデルや複雑な制約を含む問題を扱うことが可能であるとともに、計算負荷の軽減を図ることが可能な機械学習装置、機械学習方法、及び機械学習プログラム並びに経路生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る機械学習装置は、対象移動体が目標状態に至るまでの移動経路生成に適用される機械学習装置であって、初期状態又は直前のタイムステップにおける状態と、入力された行動とを用いて次のタイムステップにおける状態を計算するシミュレータと、方策関数を用いて、前記シミュレータの出力に対して前記対象移動体がとるべき行動を演算する行動演算部と、対象移動体と前記対象移動体の観測対象である観測移動体との位置関係に基づく報酬条件を含む、複数の報酬条件を有し、前記シミュレータから出力された状態及び前記行動演算部から出力された行動を用いて、複数の前記報酬条件に基づく報酬を演算する報酬演算部と、前記報酬演算部によって出力された報酬、前記シミュレータから出力された状態、前記行動演算部から出力された行動を蓄積し、蓄積したデータに基づいて前記方策関数を更新する学習部とを備える。
【０００７】
本開示の一態様に係る機械学習方法は、対象移動体が目標状態に至るまでの移動経路生成に適用される機械学習方法であって、初期状態又は直前のタイムステップにおける状態と、入力された行動とを用いて次のタイムステップにおける状態を計算する状態遷移演算工程と、方策関数を用いて、前記状態遷移演算工程で演算された状態に対して前記対象移動体がとるべき行動を演算する行動演算工程と、対象移動体と前記対象移動体の観測対象である観測移動体との位置関係に基づく報酬条件を含む複数の報酬条件を有し、前記状態遷移演算工程で算出された状態に対して複数の前記報酬条件に基づく報酬を演算する報酬演算工程と、前記状態遷移演算工程で算出された状態、該状態に対する報酬、及び該状態に対する前記対象移動体がとるべき行動を蓄積し、蓄積した情報に基づいて前記方策関数を更新する学習工程とをコンピュータが実行する。
【０００８】
本開示の一態様に係る機械学習プログラムは、コンピュータを上記機械学習装置として機能させるための機械学習プログラムである。
【０００９】
本開示の一態様に係る経路生成装置は、対象移動体が目標状態に至るまでの移動経路生成を行う経路生成装置であって、初期状態又は直前のタイムステップにおける状態と、入力された行動とを用いて次のタイムステップにおける状態を計算するシミュレータと、上記機械学習装置によって強化学習された前記方策関数を有するとともに、該方策関数を用いて前記シミュレータの出力に対して前記対象移動体がとるべき行動を演算する行動演算部と、を備え、初期状態から前記対象移動体が目標状態に至るまで、前記シミュレータによる状態遷移演算処理と、前記シミュレータの出力に基づく行動演算処理とを繰り返し行うことにより、前記対象移動体の移動経路を生成する。
【００１０】
本開示の一態様に係る移動体は、上記経路生成装置と、経路生成装置によって生成された移動経路に従って移動制御を行う制御部とを備える。
【発明の効果】
（【００１１】以降は省略されています）

関連特許