特許ウォッチ

公開番号2025123615
公報種別公開特許公報(A)
公開日2025-08-25
出願番号2024019142
出願日2024-02-13
発明の名称制御装置、制御方法、及びプログラム
出願人三菱重工業株式会社
代理人弁理士法人酒井国際特許事務所
主分類G05B 13/02 20060101AFI20250818BHJP(制御;調整)
要約【課題】様々な状況を考慮して、適切な制御信号を与えることができる制御装置、制御方法、及びプログラムを提供すること。
【解決手段】本開示に係る制御装置は、制御対象の制御パラメータについての制御目標値を取得する取得部と、制御目標値に基づいて、制御対象に与える制御信号を計算する制御信号計算部と、制御信号をノミナルモデルに与えた場合の出力値と、制御信号を派生モデルに与えた場合の出力値と、を観測する状態観測部と、状態観測部の観測した状態と、状態に応じた報酬に基づいて、制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させる深層強化学習部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
制御対象の制御パラメータについての制御目標値を取得する取得部と、
前記制御目標値に基づいて、制御対象に与える制御信号を計算する制御信号計算部と、
前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測する状態観測部と、
前記状態観測部の観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させる深層強化学習部と、を備える、
制御装置。
続きを表示（約 990 文字）【請求項２】
前記深層強化学習部によって学習させられた補償量計算モデルを用いて、前記制御信号を補償する補償量を計算する補償量計算部と、をさらに備える、
請求項１に記載の制御装置。
【請求項３】
前記補償量計算部が計算する前記制御信号を補償する補償量には、上限値と下限値が設定されている、
請求項２に記載の制御装置。
【請求項４】
前記制御対象は、無人水中航走体であって、
前記制御パラメータは、操舵量であり、
前記補償量計算部が計算する補償量の上限値は、制御モデルの制御信号のプラス１０パーセント、前記補償量の下限値は、マイナス１０パーセントである、
請求項２又は３に記載の制御装置。
【請求項５】
前記派生モデルにおける無人水中航走体の抗力係数の値が、前記ノミナルモデルにおける無人水中航走体の抗力係数の値に対して、所定の値だけ増加又は減少された値が用いられている、
請求項４に記載の制御装置。
【請求項６】
制御対象の制御パラメータについての制御目標値を取得するステップと、
前記制御目標値に基づいて、制御対象に与える制御信号を計算するステップと、
前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測するステップと、
観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させるステップと、を含む、
制御方法。
【請求項７】
制御対象の制御パラメータについての制御目標値を取得するステップと、
前記制御目標値に基づいて、制御対象に与える制御信号を計算するステップと、
前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測するステップと、
観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させるステップと、をコンピュータに実行させる、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、制御装置、制御方法、及びプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
無人水中航走体（ＵＵＶ：ＵｎｍａｎｎｅｄＵｎｄｅｒｗａｔｅｒＶｅｈｉｃｌｅ）や、遠隔操作型無人潜水機（ＲＯＶ：ＲｅｍｏｔｅｄＯｐｅｒａｔｅｄＶｅｈｉｃｌｅ）、無人航空機（ＵＡＶ：ＵｎｍａｎｎｅｄＡｅｒｉａｌＶｅｈｉｃｌｅ）、無人地上車両（ＵＧＶ：ＵｎｍａｎｎｅｄＧｒｏｕｎｄＶｅｈｉｃｌｅ）等の無人機の自律制御に機械学習技術の適用が進んでいる。
【０００３】
例えば、下記の特許文献１には、ドライバーロボット、車両、ドライバーロボット制御からなる車両試験設備であって、走行計測データから、制御対象の車両、ドライバーロボット、制御（操作推論）の全てを学習して、自動的にドライバーロボットが車両を操作できるようにするものが記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－４８４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載の制御対象のモデルの生成に機械学習を用いるためには、余計に多くのデータを要するといった問題があった。また、無人機の制御に機械学習の技術を用いる場合には、無人機の設計時に考慮されていない製造要因や、環境要因によって、制御信号が実際の運用状況を考慮した制御信号になっていないという問題があった。
【０００６】
本開示は上記課題を鑑み、様々な状況を考慮して、適切な制御信号を与えることができる制御装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、制御対象の制御パラメータについての制御目標値を取得する取得部と、前記制御目標値に基づいて、制御対象に与える制御信号を計算する制御信号計算部と、前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測する状態観測部と、前記状態観測部の観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させる深層強化学習部と、を備える。
【０００８】
上述した課題を解決し、目的を達成するために、本開示に係る制御方法は、制御対象の制御パラメータについての制御目標値を取得するステップと、前記制御目標値に基づいて、制御対象に与える制御信号を計算するステップと、前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測するステップと、前記状態観測部の観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させるステップと、を含む。
【０００９】
上述した課題を解決し、目的を達成するために、本開示に係るプログラムは、制御対象の制御パラメータについての制御目標値を取得するステップと、前記制御目標値に基づいて、制御対象に与える制御信号を計算するステップと、前記制御信号をノミナルモデルに与えた場合の出力値と、前記制御信号を派生モデルに与えた場合の出力値と、を含む要素により表される状態を観測するステップと、前記状態観測部の観測した状態と、前記状態に応じた報酬に基づいて、前記制御信号を補償する適切な補償量を計算する補償量計算モデルについて、深層強化学習を実行させるステップと、をコンピュータに実行させる。
【発明の効果】
【００１０】
本開示によれば、様々な状況を考慮して、適切な制御信号を与えることができる制御装置、制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許