Analysis of the latent preference mechanism that produces diverse behaviors

点击翻译按钮获取中文摘要

ベースラインの不要な分類型逆強化学習と，多目的逆強化学習についての研究を実施した．分類型逆強化学習については，手本となるエキスパートデータのみから学習するために，エキスパートは常に報酬の高い方向へ進行し続ける，という「報酬追跡原理」と呼ばれる報酬モデルを考案し，このモデルをもとに学習する手法「報酬追跡学習法」を提案した．この手法を後述する多目的深層逆強化学習において逆強化学習手法として利用し，論文内において発表した．多目的逆強化学習については，2022年度に大きく研究が進展した．2021年にまず発表した，非負値行列因子分解（NMF）によって多目的逆強化学習を解くことが可能な手法をもとに，2022年に勾配降下法を導入することで非負の制約が不要となった手法（報酬行列分解）を提案した．申請者は，この発表と同時並行で，行列分解をニューラルネットワークの構造として構築し，従来の深層逆強化学習手法の中に組み込むことによって学習する手法を検討・実験しており，その成果を「多目的深層逆強化学習」として続けて発表した．多目的深層逆強化学習は世界初の試みであり，学習が成功することを示すことができたことは重要な成果と言える．そして，多目的深層逆強化学習の研究を更に発展させ，重みと報酬の総和を計算する（線形スカラー化と呼ばれる）という仮定をなくすために，最大値を取るチェビシェフスカラー化（非線形スカラー化の一種）を含んだ重み付けスカラー化の一般化を定義し，このスカラー化操作をニューラルネットワークによって学習する「ニューラルスカラー化」を開発した．この研究成果は査読を経て，英文ジャーナルに採択された．また，常に最適行動を取り続けるエキスパートは非現実的であるため，時に最適でない行動を取るエキスパート（準最適なエキスパート）のデータにも対応するべく，新たな視点からの手法を開発し，現在実験を進めている．