Evolution of Reward Appraisal Systems in Environments with Sequential Decision Making

点击翻译按钮获取中文摘要

本研究では，計算機シミュレーションにより，行動主体（エージェント）が複数存在する環境における協力行動の発生過程を議論する．現実に近い連続的な意思決定を必要とする環境として，複数のエージェントが「協力すべき」ゲームを対象とし，個々が意思決定方策を強化学習により獲得する．意思決定の結果を各自が自己評価して学習に反映させるものとした時，エージェント間の協力をもたらす自己評価システムが進化により発生するか否か，およびその発生のための要件について考察する．2022年度は，2021年度までに得られた知見をさらに深めることが行われた．内部報酬（自己評価）を利用した好奇心探索を，追跡問題と呼ばれるマルチエージェント環境へ適用することで，強化学習のみと比べてより多くの協調行動が得られることが示されていたが，その要因を考察した．その結果，強化学習のみでは個々が獲物を追いかけることで，互いに環境内で衝突してしまい，結果として獲物を取り逃がしていたが，好奇心探索を用いた場合には，一部のエージェントが回り込むなどの動作を学習することで，互いの衝突を減らすことが見られた．これは，自己評価によって探索を促進することで，結果として協力行動が得られたと解釈できる．また，自己評価システムの進化に関する研究については以下のとおりである．ゲーム空間上のエージェントの位置関係に基づくものについて，新たに人工ポテンシャル場の考えを導入し，そのポテンシャル関数を進化計算で調整することにより，ゲームにおいてより多くの得点を獲得することに成功した．一方で，2人同時手番ゲームで有効性が確認された，より一般的な自己評価システムの進化の研究では，連続的な意思決定を要するゲームへ適用したところ，残念ながらまだ満足する結果が得られておらず，さらなる検討が必要である．