深層強化学習で非線形な制御が学習できるか～物理演算ゲームの学習を通じた検証～

是否可以通过学习物理游戏来使用深度强化学习来学习非线性控制？

• 批准号: 18H00543
• 负责人: 松木 俊貴
• 金额: $ 0.33万
• 依托单位: Oita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Scientists
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18H00543/
• 关键词: 深層強化学習; 非線形制御; リザバコンピューティング

本研究では, 「目標軌道」ではなく, 報酬を最大化するという「目的」に基づいた制御則学習の実現可能性について調査するため, 物理演算ゲームタスクを深層強化学習によって学習させて検証を行った.エージェントが学習するタスクとして, ボードをうまく傾けることによりボード上の球をゴールへと導くRoll-a-Ballと呼ばれるゲームを用いた. ボード上には落とし穴がランダムに出現し, 落ちるとエージェントには罰が与えられ, うまく避けながらゴールすると報酬が与えられる. このタスクではランダムに位置が変わる落とし穴の存在により事前に決まった軌道を生成することができず, また, 壁に衝突した際のバウンドなども考慮しつつ非線形に傾斜角を変えていく必要があることから, 本課題における制御則学習のタスクとして設定した. 上記のようなタスクに対し, エージェントの状態を入力としボードの傾斜角を出力とするニューラルネットワーク(NN)をActor-Criticと呼ばれる手法で学習した. タスク環境の非線形なダイナミクスの中で情報を処理し操作量を出力するためにリカレントニューラルネットワーク(RNN)と呼ばれる再帰構造を持つNNを用いた. さらに本研究では時間を遡る学習処理を伴わないため, 高速かつ安定的に学習ができ, パターン生成などの研究にも使われることの多いリザバネットワーク(RN)と呼ばれる特殊なRNNを中間層に導入した多層のNNを用いた.当初の計画では環境の画像を直接NNに与えて学習を行う予定であったが, 上層から伝播してきた誤差信号をRNより下層へ伝播させて学習することが困難であった. しかし, RNに画像のような高次元の入力を直接与えることはできないため, 球, ゴール, 落とし穴などの座標, 相対速度, 相対距離, 相対角度といった事前処理済みの入力に切り替えて学習したところ学習に成功した. 今後, 下層の学習を実現する方法を検討することが課題として残った.

This study で は "target orbit" で は な く, reward maximize を す る と い う に base づ "intent" い た suppression is learning の possibility be presently に つ い て survey す る た め, physical calculus ゲ ー ム タ ス ク を deep reinforcement learning に よ っ て learning さ せ て 検 line card を っ た. エ ー ジ ェ ン ト が learning す る タ ス ク と し て, ボ ー ド を う ま く pour け る こ と に よ り ボ ー ド の Ball on を ゴ ー ル へ と く guide Roll - a - Ball と shout ば れ る ゲ ー ム を with い た. ボ ー ド on に は fall と し den が ラ ン ダ ム に し, fall ち る と エ ー ジ ェ ン ト に は penalty が and え ら れ, う ま く avoid け な が ら ゴ ー ル す る と が remuneration and え ら れ る. こ の タ ス ク で は ラ ン ダ ム が に position - わ る fall と し den の is に よ に り advance definitely ま っ た orbit を generated す る こ と が で き ず, ま た, The event wall に conflict し た の バ ウ ン ド な ど も consider し つ つ nonlinear に Angle を - え て い く necessary が あ る こ と か ら, this topic に お け る suppression is learning の タ ス ク と し て set し た. Above it is written that ようなタス に に and に. エ ー ジ ェ ン ト の state を と into force し ボ ー ド の Angle を output と す る ニ ュ ー ラ ル ネ ッ ト ワ ー ク (NN) を Actor - Critic と shout ば れ る gimmick で learning し た. タ ス ク environment の nonlinear な ダ イ ナ ミ ク ス の で in intelligence を 処 Richard し を operation quantity output す る た め に リ カ レ ン ト ニ ュ ー ラ ル ネ ッ ト ワ ー ク (RNN) と shout ば れ る 帰 tectonic を again hold つ NN を with い た. さ ら に this study で は time roving を る learning 処 を with わ な い た め, high-speed か つ stable に learning が で き, パ タ ー ン generated な ど の research に も make わ れ る こ と の more い リ ザ バ ネ ッ ト ワ ー ク (RN) と shout ば れ る special な RNN を middle-tier に import し た multilayer の NN を with い た. の original plan で は environmental の portraits を directly NN に and え て line learning を う designated で あ っ た が, upper か ら 伝 sowing し て き た error signal を RN よ り lower へ 伝 sowing さ せ て learning す る こ と が difficult で あ っ た. し か し, RN に portrait の よ う な の を directly into force and the high dimensional え る こ と は で き な い た め, ball, ゴ ー ル, と し den な ど の coordinates, phase velocity, seaborne seaborne distance, phase Angle と seaborne い っ た prior 処 Richard 済 み の に り cutting into force for え て learning し た と こ ろ learning に successful し た. In the future, the lower-level students will study the を practical する method を検 and discuss the する <s:1> とが topic と て and った.