Development of the adaptive agent for homeostasis and analysis of its cognitive development

点击翻译按钮获取中文摘要

行動が連続値ベクトルとして定義される四脚ロボット+２資源問題のシミュレーション実験環境を構築した．さらにロボットが身体の内部状態として体温をもつ環境を構築し，異なる2つの実験環境を使った手法の比較を可能とした．当初の目的通り規模の小さい実験系として餌を検出するレーザーセンサをロボット上部に仮定し，深層強化学習の手法であるProximal Policy Optimizationにより行動最適化を行った．これにより恒常性報酬を用いることで上述の2つの環境中でエージェントが生存を持続する行動（歩行・停止・体温制御・ナビゲーション・採餌制御）を創発することを確認した．またこのなかで，内受容感覚を特定の値に固定しても歩行を始めとするエージェントの身体運動は大きな影響を受けないことを発見した．恒常性を実現するとされる他の既存の報酬設定と，本研究で用いた計算神経科学由来の恒常性報酬との比較を上述の2つの環境で行った．これにより恒常性報酬が学習効率の点で優れていることが明らかになった．さらにこの点をReward Shapingの観点から数理的に考察し，恒常性報酬はより根源的な報酬設定に対して価値関数を妥当な形で初期化した場合に対応することを明らかにした．最適化したエージェントの行動解析のため，2種類の餌をエージェント近傍に設置し，上述の発見を利用してエージェントの内受容感覚を様々な値に固定することで栄養状態に応じたエージェントの採餌行動の変化を評価した．以上の知見をもとにレーザーセンサの代わりに画像を入力とするエージェントを畳み込みニューラルネットワークで構成し，RGB画像ならびにRGB-D画像の場合での恒常性エージェントの最適化に成功した．その他，恒常性強化学習に対して特異的に有効な神経ネットワーク構造を発見し全結合構造との性能比較を行った．