Establishment of Chaos-based Dynamic Reinforcement Learning as Taking an Essential Technology to Realize Emergence of Thinking in Advance

建立基于混沌的动态强化学习作为实现超前思维生成的关键技术

• 批准号: 20K11993
• 负责人: 柴田 克成
• 金额: $ 2.41万
• 依托单位: Oita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11993/
• 关键词: ダイナミック強化学習; 感度; 感度調整学習（SAL); エッジオブカオス; カオス性; カオスニューラルネット; 思考創発; 多段階状態遷移

（本研究は、研究代表者の退職に伴う資格喪失のため、やむを得ず１年で廃止となった。この実績は廃止までの１年分のものである）本研究は大きく分けて３つの研究を行った。【１】感度調整学習(SAL)のまとめ　本研究の主題「カオスベースダイナミック強化学習」の基盤となる「感度調整学習(SAS)」について、各ニューロンでの感度調整でネットワーク全体のダイナミクスを調整できることの理論的背景を整理するとともに、カオスダイナミクスの生成および教師あり学習との併用についての系統的なシミュレーションを行い、論文に投稿した。【２】ダイナミック強化学習の基礎研究　強化学習に基づいて各ニューロンで感度を変化させることで、ネットワークダイナミクスを直接学習させるダイナミック強化学習の枠組みで、簡易視覚センサを用いて、エージェントが簡単な物体到達タスクを学習できることを示した。さらに、物体との距離および角度の情報をセンサ入力とした場合でも、同様に学習できた。また、外部入力に対し、フィードバック入力の学習係数を外部入力より小さくした方が性能は良かった。想定していた学習による感度の減少はみられなかった。また、TD誤差が正の際の出力の維持拘束により、この学習係数の差のために感度が増加する場合があることがわかった。【３】ダイナミック教師あり学習の基礎検討　ダイナミクスを直接学習させる考え方を教師あり学習にも導入できるかの基礎検討を行なった。入出力に10ステップの時間差のあるEXOR問題の学習を、誤差の時間平均と現在の誤差との差に基づいて感度を変化させた。(出力ニューロンは通常の誤差勾配で学習) そして、出力ニューロンの学習だけではできなかったものが、この学習を導入することで正しい出力が得られるようになった。感度を通してダイナミクスを直接学習させるという新しい学習の枠組みがある程度動作することが確認できた。

(This study に, the representative of the study <s:1> resigned に accompanied by the loss of う qualification ため ため, やむを ず for 1 year で廃 until となった.) The actual performance of 廃 廃 up to まで <e:1> 1 year is である 廃 である である) this study is <s:1> large <s:1> く けて points けて3 まで <s:1> research を field った. 【 1 】 sensitivity adjustment learning (SAL) の ま と め の this research topic "カ オ ス ベ ー ス ダ イ ナ ミ ッ ク reinforcement learning" の base plate と な る sensitivity adjustment learning (SAS) に つ い て, various ニ ュ ー ロ ン で の sensitivity adjustment で ネ ッ ト ワ ー ク all の ダ イ ナ ミ ク ス を adjustment で き る こ と の theory background を finishing す る と と も に, カ オ ス ダ イ ナ ミ ク ス の generated お よ び teachers あ り learning と の and に つ い て の system な シ ミ ュ レ ー シ ョ ン を い, contribute papers に し た. 【 2 】 ダ イ ナ ミ ッ ク reinforcement learning の reinforcement learning basic research に base づ い て each ニ ュ ー ロ ン で sensitivity を variations change さ せ る こ と で, ネ ッ ト ワ ー ク ダ イ ナ ミ ク ス を directly learning さ せ る ダ イ ナ ミ ッ ク reinforcement learning の 枠 group み で, simple 覚 セ ン サ を with い て, エ ー ジ ェ ン ト が Jane 単 な objects to タ ス ク を learning で き る こ と Youdaoplaceholder0 indicates た. さ ら に, objects と の distance お よ び Angle の intelligence を セ ン サ と into force し た occasions で も, with others in に learning で き た. ま た, external force に し, seaborne フ ィ ー ド バ ッ ク の learning into force coefficient を external よ into force り small さ く し た party が performance good は か っ た. It is determined that <s:1> て た た learn による sensitivity <e:1> to reduce みられな った った. ま た, TD error が is の interstate の output の maintain tight に よ り, こ の poor learning coefficient の の た め に sensitivity が raised plus す る occasions が あ る こ と が わ か っ た. [3] ダ イ ナ ミ ッ ク teachers あ り learning based beg ダ 検 の イ ナ ミ ク ス を directly learning さ せ る exam え party を teachers あ り learning に も import で き る か の base line beg を 検 な っ た. Into the output に 10 ス テ ッ プ の lag の あ る を "problem の learning, error の time average と now の と の poor に base づ い て sensitivity を variations change さ せ た. (output ニ ュ ー ロ ン は の error usually hook with で learning) そ し て, output ニ ュ ー ロ ン の learning だ け で は で き な か っ た も の が, こ の learning を import す る こ と で is し い output が must ら れ る よ う に な っ た. Sensitivity を tong し て ダ イ ナ ミ ク ス を directly learning さ せ る と い う new し い learning の 枠 group み が あ る degree action す る こ と が confirm で き た.

项目成果

リカレントネットにおける感度調整学習時の感度とリアプノフ指数の関係

循环网络灵敏度调整学习过程中灵敏度与李雅普诺夫指数的关系

• 发表时间: 2020
• 期刊: 第39回計測自動制御学会九州支部学術講演会予稿集
• 作者: 江島拓哉;徳丸侑輝;柴田克成
• 通讯作者: 柴田克成

Adaptive balancing of exploration and exploitation around the edge of chaos in internal-chaos-based learning

• DOI: 10.1016/j.neunet.2020.08.002
• 发表时间: 2020-08
• 期刊: Neural networks : the official journal of the International Neural Network Society
• 作者: Toshitaka Matsuki;K. Shibata

カオスニューラルネットを用いた記憶問題の学習における不応性導入の影響

使用混沌神经网络引入不应性对学习记忆问题的影响

• 发表时间: 2020
• 期刊: 第39回計測自動制御学会九州支部学術講演会予稿集
• 作者: 黒崎耕平;柴田克成
• 通讯作者: 柴田克成

Q-learning with exploration driven by internal dynamics in chaotic neural network

• DOI: 10.1109/ijcnn48605.2020.9207114
• 发表时间: 2020-07
• 期刊: 2020 International Joint Conference on Neural Networks (IJCNN)
• 作者: Toshitaka Matsuki;Souya Inoue;K. Shibata

感度調整学習を用いたリザバネットの構築

使用灵敏度调整学习构建水库网络

• 发表时间: 2020
• 期刊: 第39回計測自動制御学会九州支部学術講演会予稿集
• 作者: 吉岡晴海;松木俊貴;柴田克成
• 通讯作者: 柴田克成