実例に基づく強化学習法による適応行動発生に関する基礎研究

基于实例的强化学习方法自适应行为生成基础研究

• 批准号: 06680365
• 负责人: 畝見 達夫
• 金额: $ 1.22万
• 依托单位: Soka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (C)
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-06680365/
• 关键词: 強化学習; 機械学習; 出力の精密化; 学習能力の進化

強化学習の基本アルゴリズムについて、出力が連続な実数である問題領域において、出力選択肢数を増減させる手法を提案し、コンピュータシミュレーションにより性能を確任した。実例に基づく強化学習法をベースに、参照される頒度の違いにより、より頒繁に参照される出力選択肢の間に新たな選択肢を設定し、選択肢数の数があらかじめ決められた数より多くなったときには、最も参照頒度の小さい選択肢を削除する。これにより、適応的な出力精度の調整が可能となる。倒立振子を用いたコンピュータシミュレーションでは、出力候補を固定とする従来の手法に比べ、計算負荷は増すもののより精密な制御が可能となることが確任された。また強化学習のパラメータを遺伝的アルゴリズムによって最適化するシミュレーション実験を行った。この結果、経験的に人間が設定していた値と同様の値が得られた。ただし、学習率については、徐々に減る傾向となり、理論とは逆になった。さらに、環境変化を行なわず、かつ、個体の評価に学習期間を含めたところ、ボールドウィン効果と思われる現象が観察された。つまり、最初は学習能力が高い個体が発生するが、その後先天的に最適な行動戦略をもった個体にとってかわられる。

Reinforcement learning basic ア の ル ゴ リ ズ ム に つ い て, output が 続 な be several で あ る problem domain に お い て, sentaku limb several を raised さ reduction of output せ る を proposal し, コ ン ピ ュ ー タ シ ミ ュ レ ー シ ョ ン に よ り performance を it し た. Be example に base づ く reinforcement learning method を ベ ー ス に, referential さ れ る award degrees の violations い に よ り, よ り awarded numerous に reference さ れ る output sentaku limb の に between new た な sentaku limb を number set し, sentaku limb の が あ ら か じ め definitely め ら れ た number よ り more く な っ た と き に は, most small も reference to award degrees の さ い sentaku limb を pruned す る. The な output precision suitable for 応 <s:1> adjustment が may となる. Handstand oscillator を with い た コ ン ピ ュ ー タ シ ミ ュ レ ー シ ョ ン で は, output alternate を fixed と す る 従 to の gimmick に than べ は computational load, raised す も の の よ り precision な suppression が may と な る こ と が it さ れ た. ま た reinforcement learning の パ ラ メ ー タ を but 伝 ア ル ゴ リ ズ ム に よ っ て optimization す る シ ミ ュ レ ー シ ョ ン be 験 を line っ た. The <s:1> results, the empirical に human が set the <s:1> て た た た value と the same as the <s:1> value が られた. Youdaoplaceholder0 ただ, learning rate に と て て, xu 々に decreases る tendency とな, theory と になった reverse になった. さ ら に line, environment - を な わ ず, か つ, individual の 価 に during learning contains を め た と こ ろ, ボ ー ル ド ウ ィ ン unseen fruit と think わ れ る phenomenon が 観 examine さ れ た. つ ま り, high initial は learning が い individual が 発 raw す る が, そ の after congenital に optimum な action 戦 slightly を も っ た individual に と っ て か わ ら れ る.

项目成果

畝見達夫: "強化学習エージェントの集団行動" マルチエージェントと協調計算. 3. 137-150 (1994)

Tatsuo Unemi：“强化学习代理的集体行为”多代理和协作计算 3. 137-150 (1994)。

T.Unemi,et al.: "Evolutionary Differentiation of Learning Abilities-" Proceedings of the Forth Intnl.Conf.on Artificial Life. 331-336 (1994)

T.Unemi 等人：“学习能力的进化分化——”第四届人工生命国际会议论文集。

矢野喜義、増島康弘、平山宣正、畝見達夫: "強化学習エージェントによる道路交通の秩序の発生" 自律分散システムシンポジウム. 297-300 (1995)

Yoshiyoshi Yano、Yasuhiro Masushima、Nobumasa Hirayama、Tatsuo Unemi：“使用强化学习代理生成道路交通秩序”自治分布式系统研讨会 297-300 (1995)。