未知の協調・環境を想定したマルチエージェント強化学習の知識転移

点击翻译按钮获取中文摘要

本年度は，マルチエージェント強化学習の未知の協調，未知の環境への適応に向けた，(1)学習結果のモジュール化，(2)知識モジュールに基づく未知の協調行動学習法の提案，(3)未知環境を想定した知識の再構成法の提案の内，主にテーマ(2)および(3)に向けた調査を実施した．具体的には，知識モジュールの抽出として，深層強化学習A3Cをベースとして，獲得報酬の変化をパラメトリックな分布を構成し，報酬を獲得した目的ごとの分布を比較することで他エージェントの目的を抽出し，それぞれの目的に合わせて協調行動を学習する手法を提案した．また，ロボットナビゲーションのシミュレーション実験により手法の有効性を検証した．本提案手法は，未知の環境や不測の事態でエージェントの取るべき協調行動が不明の時に，学習結果から知識として切り出した互いの目的を組み合わせて適切な目的を達成する協調行動が学習可能である点で画期的成果となった．また，知識モジュールの組み合わせに関して，エージェントの固有の状態を抽出し連結することで新たな知識を生成し，その知識を学習により環境に対して最適にする手法を提案し，前述のナビゲーション実験によりその有効性を示した．これにより，知識モジュールの連結方法を変えることで環境に合わせた知識の再構成が可能であることが確認できた．本成果は，知識モジュールを抽出した際にそれを組み合わせることによる効果を実証できた点において重要である．なお，本成果は国際会議ICAART 2023および国内学会人工知能学会全国大会等において発表している．