特許ウォッチ

公開番号2025074384
公報種別公開特許公報(A)
公開日2025-05-14
出願番号2023185137
出願日2023-10-30
発明の名称逆強化学習管理装置、逆強化学習管理方法及び逆強化学習管理システム
出願人株式会社日立製作所
代理人弁理士法人第一国際特許事務所
主分類G06N 20/00 20190101AFI20250507BHJP(計算;計数)
要約【課題】学習情報が少ない状況であっても、高精度の報酬関数が生成可能な逆強化学習管理手段を提供すること。
【解決手段】所定のシナリオに関する学習情報に基づいて、強化学習エージェントに与える報酬を規定する初期報酬関数を生成する関数生成部と、初期報酬関数に基づいて、強化学習エージェントの挙動を規定する初期方策を生成し、初期方策を用いて、シナリオにおいて、特定の状態に対して実施する特定の行動を示す状態・行動ペアのシーケンスからなる遷移を含む遷移情報を生成する遷移管理部と、遷移情報の中から、所定の分散基準を満たす遷移のサブセットを判定する遷移選択部と、遷移のサブセットの中から、無効な状態・行動ペアを特定し、無効な状態・行動ペアに基づいて、初期報酬関数に対する制約を規定し、制約を初期報酬関数に対して適用することで、修正済みの報酬関数を生成する制約生成部とを含む逆強化学習管理装置。
【選択図】図2
特許請求の範囲【請求項１】
逆強化学習管理装置であって、
プロセッサとメモリと記憶部とを備え、
前記記憶部は、
所定のシナリオに関する学習情報を格納し、
前記メモリは、
前記学習情報に基づいて、強化学習エージェントに与える報酬を規定する初期報酬関数を生成する関数生成部と、
前記初期報酬関数に基づいて、前記強化学習エージェントの挙動を規定する初期方策を生成し、前記初期方策を用いて、前記シナリオにおいて、特定の状態に対して実施する特定の行動を示す状態・行動ペアのシーケンスからなる遷移を含む遷移情報を生成する遷移管理部と、
前記遷移情報の中から、所定の分散基準を満たす遷移のサブセットを判定する遷移選択部と、
前記遷移のサブセットの中から、無効な状態・行動ペアを特定し、前記無効な状態・行動ペアに基づいて、前記初期報酬関数に対する制約を規定し、前記制約を前記初期報酬関数に対して適用することで、修正済みの報酬関数を生成する制約生成部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする逆強化学習管理装置。
続きを表示（約 3,600 文字）【請求項２】
前記遷移管理部は、
前記シナリオについて、複数の異なる初期条件に対応する複数の遷移を前記遷移情報として生成する、
ことを特徴とする、請求項１に記載の逆強化学習管理装置。
【請求項３】
前記制約生成部は、
前記遷移のサブセットに含まれる第１の遷移における最終の状態・行動ペアである第１の状態・行動ペアを特定する第１の時空間的座標を判定し、
前記第１の遷移において、前記第１の状態・行動ペアに先行する第２の状態・行動ペアを特定する第２の時空間的座標を判定し、
前記第１の時空間的座標及び前記第２の時空間的座標が所定の類似度基準を満たさない場合、前記第２の状態・行動ペアが所定の有効性基準を満たすか否かを判定し、
前記第２の状態・行動ペアが所定の有効性基準を満たさないと判定した場合、前記第２の状態・行動ペアを前記無効な状態・行動ペアとして特定する、
ことを特徴とする、請求項１に記載の逆強化学習管理装置。
【請求項４】
前記制約生成部は、
前記第２の状態・行動ペアが所定の有効性基準を満たす場合、又は、前記第１の時空間的座標及び前記第２の時空間的座標が所定の類似度基準を満たす場合、前記第１の遷移において、前記第２の状態・行動ペアに先行する第３の状態・行動ペアを特定する第３の時空間的座標を判定し、
前記第２の時空間的座標及び前記第３の時空間的座標が所定の類似度基準を満たさない場合、前記第３の状態・行動ペアが所定の有効性基準を満たすか否かを判定し、
前記第３の状態・行動ペアが所定の有効性基準を満たさないと判定した場合、前記第３の状態・行動ペアを前記無効な状態・行動ペアとして特定する、
ことを特徴とする、請求項３に記載の逆強化学習管理装置。
【請求項５】
前記制約生成部は、
前記遷移のサブセットに含まれる第１の遷移における最終の状態・行動ペアである第１の状態・行動ペアに先行する第２の状態・行動ペアにおける第２の状態が所定の有効性基準を満たすか否かを判定し、
前記第２の状態が所定の有効性基準を満たす場合、前記第２の状態・行動ペアにおいて前記第２の状態に対応する第２の行動が前記有効性基準を満たさないと判定し、前記第２の状態・行動ペアを前記無効な状態・行動ペアとして特定する、
ことを特徴とする、請求項１に記載の逆強化学習管理装置。
【請求項６】
前記制約生成部は、
前記第２の状態が所定の有効性基準を満たさない場合、前記第２の状態・行動ペアに先行する第３の状態・行動ペアにおける第３の状態が所定の有効性基準を満たすか否かを判定し、
前記第３の状態が所定の有効性基準を満たす場合、前記第３の状態・行動ペアにおいて前記第３の状態に対応する第３の行動が前記有効性基準を満たさないと判定し、前記第３の状態・行動ペアを前記無効な状態・行動ペアとして特定する、
ことを特徴とする、請求項５に記載の逆強化学習管理装置。
【請求項７】
前記遷移管理部は、
前記修正済みの報酬関数を用いて、前記強化学習エージェントを訓練する、
ことを特徴とする、請求項１に記載の逆強化学習管理装置。
【請求項８】
逆強化学習管理装置において実行される逆強化学習管理方法であって、
前記逆強化学習管理装置は、
プロセッサとメモリと記憶部とを備え、
前記記憶部は、
所定のシナリオに関する学習情報を格納し、
前記メモリは、
前記学習情報に基づいて、強化学習エージェントに与える報酬を規定する初期報酬関数を生成する工程と、
前記初期報酬関数に基づいて、前記強化学習エージェントの挙動を規定する初期方策を生成する工程と、
前記初期方策を用いて、前記シナリオにおいて、特定の状態に対して実施する特定の行動を示す状態・行動ペアのシーケンスからなる遷移を含む遷移情報を生成する工程と、
前記遷移情報の中から、所定の分散基準を満たす遷移のサブセットを判定する工程と、
前記遷移のサブセットに含まれる第１の遷移における最終の状態・行動ペアである第１の状態・行動ペアを特定する第１の時空間的座標が特定可能か否かを判定する工程と、
前記第１の時空間的座標が特定可能の場合、前記第１の時空間的座標を判定する工程と、
前記第１の遷移において、前記第１の状態・行動ペアに先行する第２の状態・行動ペアを特定する第２の時空間的座標を判定する工程と、
前記第１の時空間的座標及び前記第２の時空間的座標が所定の類似度基準を満たさない場合、前記第２の状態・行動ペアが所定の有効性基準を満たすか否かを判定する工程と、
前記第２の状態・行動ペアが所定の有効性基準を満たさないと判定した場合、前記第２の状態・行動ペアを無効な状態・行動ペアとして特定する工程と、
前記第２の状態・行動ペアが所定の有効性基準を満たす場合、又は、前記第１の時空間的座標及び前記第２の時空間的座標が所定の類似度基準を満たす場合、前記第１の遷移において、前記第２の状態・行動ペアに先行する第３の状態・行動ペアを特定する第３の時空間的座標を判定する工程と、
前記第２の時空間的座標及び前記第３の時空間的座標が所定の類似度基準を満たさない場合、前記第３の状態・行動ペアが所定の有効性基準を満たすか否かを判定する工程と、
前記第３の状態・行動ペアが所定の有効性基準を満たさないと判定した場合、前記第３の状態・行動ペアを前記無効な状態・行動ペアとして特定する工程と、
前記第１の時空間的座標が特定可能でない場合、前記第１の状態・行動ペアに先行する第２の状態・行動ペアにおける第２の状態が所定の有効性基準を満たすか否かを判定する工程と、
前記第２の状態が所定の有効性基準を満たす場合、前記第２の状態・行動ペアにおいて前記第２の状態に対応する第２の行動が前記有効性基準を満たさないと判定し、前記第２の状態・行動ペアを前記無効な状態・行動ペアとして特定する工程と、
前記第２の状態が所定の有効性基準を満たさない場合、前記第２の状態・行動ペアに先行する第３の状態・行動ペアにおける第３の状態が所定の有効性基準を満たすか否かを判定する工程と、
前記第３の状態が所定の有効性基準を満たす場合、前記第３の状態・行動ペアにおいて前記第３の状態に対応する第３の行動が前記有効性基準を満たさないと判定し、前記第３の状態・行動ペアを前記無効な状態・行動ペアとして特定する工程と、
前記無効な状態・行動ペアに基づいて、前記初期報酬関数に対する制約を規定する工程と、
前記制約を前記初期報酬関数に対して適用することで、修正済みの報酬関数を生成する工程と、
を前記プロセッサに実行させる処理命令を含むことを特徴とする逆強化学習管理方法。
【請求項９】
逆強化学習管理装置と
ユーザ端末とが通信ネットワークを介して接続されている逆強化学習管理システムであって、
前記逆強化学習管理装置は、
プロセッサとメモリと記憶部とを備え、
前記記憶部は、
所定のシナリオに関する学習情報を格納し、
前記メモリは、
前記学習情報に基づいて、強化学習エージェントに与える報酬を規定する初期報酬関数を生成する関数生成部と、
前記初期報酬関数に基づいて、前記強化学習エージェントの挙動を規定する初期方策を生成し、前記初期方策を用いて、前記シナリオにおいて、特定の状態に対して実施する特定の行動を示す状態・行動ペアのシーケンスからなる遷移を含む遷移情報を生成する遷移管理部と、
前記遷移情報の中から、所定の分散基準を満たす遷移のサブセットを判定する遷移選択部と、
前記遷移のサブセットの中から、無効な状態・行動ペアを特定し、前記無効な状態・行動ペアに基づいて、前記初期報酬関数に対する制約を規定し、前記制約を前記初期報酬関数に対して適用することで、修正済みの報酬関数を生成する制約生成部と、
前記修正済みの報酬関数によって訓練された前記強化学習エージェントによる出力情報を前記ユーザ端末に出力する入出力部、
として前記プロセッサを機能させるための処理命令を含むことを特徴とする逆強化学習管理システム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、逆強化学習管理装置、逆強化学習管理方法及び逆強化学習管理システムに関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ（ＲＬ；以下「強化学習」）は、スケジューリング問題、リソース管理、組織の運用など、様々な分野で活用されている。
【０００３】
「強化学習」とは、機械学習の一種であり、エージェント（学習するシステム）が環境と相互作用しながら最適な行動を学習する手法である。より具体的には、このエージェントは、状態を観測し、その状態に応じて適切な行動を選択し、選択した行動に応じて報酬が与えられる。エージェントは、試行錯誤を通じて、報酬を最大化するような行動選択のルールを規定するポリシー（以下、「方策」）を学習することとなる手法である。
【０００４】
エージェントに与えられる報酬は、いわゆる報酬関数によって計算される。様々な状態に対して最適な行動が選択できる強化学習エージェントを得るためには、適切な報酬関数の設計が重要である。しかし、この報酬関数は、様々な状態において、可能性がある多数の行動に対して適切な重み付を割り当てる必要があるため、手動で設計することは難しい。
【０００５】
そこで、近年、報酬関数を自動で設計するＩｎｖｅｒｓｅＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ（ＩＲＬ；以下「逆強化学習」）が注目されている。逆強化学習では、様々な状態において、適切な行動を示す、専門家などによって作成された豊富な学習情報がある場合、当該学習情報を用いることで、適切な報酬をエージェントに与える報酬関数を自動で生成することができる。
【０００６】
逆強化学習を用いて報酬関数を生成する従来の提案の１つとしては、Ａｎｗａｒ，Ｕｓｍａｎらによる研究（非特許文献１）が存在する。非特許文献１では、「現実世界の設定では、数学的に記述することが難しい制約が数多く存在する。しかし、強化学習（ＲＬ）の実世界での展開においては、ＲＬエージェントは、安全に行動するためには、これらの制約を認識することが重要である。本研究では、制約を遵守するエージェントの振る舞いのデモンストレーションから制約を学習する問題を検討する。我々は、実験的にアプローチを検証し、フレームワークが、エージェントが尊重する最も可能性の高い制約を学習できることを示す。」
【先行技術文献】
【非特許文献】
【０００７】
Anwar, Usman, Shehryar Malik, Alireza Aghasi and Ali Ahmed. “Inverse Constrained Reinforcement Learning.” International Conference on Machine Learning (2020). https://arxiv.org/abs/2011.09999
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、学習対象の分野に関する学習情報を用いて、報酬関数に対して適用すべき制約を判定する手段が記載されている。
特許文献１は、学習対象の分野に関する豊富な学習情報が利用可能であることを前提としている。しかし、実際には、エージェントの行動選択に応じて適切な報酬を与える報酬関数を逆強化学習で生成するためには、大量の高精度の学習情報が必要であり、例えば列車スケジューリングのような複雑な問題の場合、発生し得る数多くの状態を考慮する学習情報の入手が困難である。仮に、不十分な学習情報に基づいて逆強化学習を行った場合、得る報酬関数は、例えば危険な行動に対して高い報酬を与えてしまい、このような報酬関数によって訓練されたエージェントは、事故を招く方策を学習してしまうことが考えられる。
学習情報が少ない状況であっても、高精度の報酬関数が生成可能な逆強化学習手段は、特許文献１では検討されていない。
【０００９】
そこで、本開示は、学習情報が少ない状況であっても、高精度の報酬関数が生成可能な逆強化学習管理手段を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、代表的な本発明の逆強化学習装置は、プロセッサとメモリと記憶部とを備え、前記記憶部は、所定のシナリオに関する学習情報を格納し、
前記メモリは、前記学習情報に基づいて、強化学習エージェントに与える報酬を規定する初期報酬関数を生成する関数生成部と、前記初期報酬関数に基づいて、前記強化学習エージェントの挙動を規定する初期方策を生成し、前記初期方策を用いて、前記シナリオにおいて、特定の状態に対して実施する特定の行動を示す状態・行動ペアのシーケンスからなる遷移を含む遷移情報を生成する遷移管理部と、前記遷移情報の中から、所定の分散基準を満たす遷移のサブセットを判定する遷移選択部と、前記遷移のサブセットの中から、無効な状態・行動ペアを特定し、前記無効な状態・行動ペアに基づいて、前記初期報酬関数に対する制約を規定し、前記制約を前記初期報酬関数に対して適用することで、修正済みの報酬関数を生成する制約生成部として前記プロセッサを機能させるための処理命令を含む。
【発明の効果】
（【００１１】以降は省略されています）

関連特許