複合的目標を扱う強化学習アルゴリズムの開発

开发处理复杂目标的强化学习算法

• 批准号: 08750522
• 负责人: 喜多 一
• 金额: $ 0.64万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08750522/
• 关键词: 強化学習; Q-learning; 複合的タスク; モジュール; ナビゲーション課題

学習エージェントに対する評価として報酬や懲罰などの強化信号を考え,これを頼りに最適な行動を自律的に学習する様式を強化学習と呼ぶ.強化学習については近年,Q-Learningをはじめとして種々の基礎的アルゴリズムが整備されつつある.しかしながら,複雑な行動を学習するには,学習すべき課題の構造を考慮して学習エージェントの構造やアルゴリズムを構成しなければ効果的な学習は期待できない.本研究では,達成すべきタスクが複数のサブタスクから構成され,なおかつ各サブタスクの実行順序そのものを学習エージェントが報酬として与えられる強化信号を最大化すべく,自律的に決定しなければならない問題を取り上げ,その効率的な学習法を検討した.具体的には,学習すべきサブタスクに対応するモジュールと,サブタスクの実行順序の評価を行うモジュールからなる学習エージェントの構成法を採用した.そして,このモジュール構造を活かし,各モジュールを効果的に学習するアルゴリズムをQ-Learningの拡張型として開発した.複数のゴール状態を最も速く巡回することを要求するナビゲーション課題を用いた計算機実験により,提案したアルゴリズムにより,単純なQ-Learningでは学習が困難になる規模の課題においてもこれを効果的に学習できることが示された.

Learning エ ー ジ ェ ン ト に す seaborne る review 価 と し て remuneration や punishment な ど の reinforcement signal を え, こ れ を 頼 り に optimum な action を に learning self-discipline す る others type を reinforcement learning と ぶ. Reinforcement Learning に つ い て は in recent years, the Q - Learning を は じ め と し て kind 々 の based ア ル ゴ リ ズ ム が servicing さ れ つ つ あ る. し か し な が ら, complex 雑 な を action Learning す る に は, Learning す べ を の き subject structure considering し て Learning エ ー ジ ェ ン ト の tectonic や ア ル ゴ リ ズ ム を constitute し な け れ ば unseen は な Learning period of fruit Wait for で な な で. This study で は, achieve す べ き タ ス ク が plural の サ ブ タ ス ク か ら constitute さ れ, な お か つ each サ ブ タ ス ク の be row order そ の も の を learning エ ー ジ ェ ン ト が remuneration と し て and え ら れ る reinforcement signal を maximize す べ く, self-discipline に decided し な け れ ば な ら な い problems take on り げ を, そ の sharper rate な learning method を beg し 検 た. Specific に は, learning す べ き サ ブ タ ス ク に 応 seaborne す る モ ジ ュ ー ル と, サ ブ タ ス ク の be row order の review 価 を line う モ ジ ュ ー ル か ら な る learning エ ー ジ ェ ン ト の made method を し た. そ し て, こ の モ ジ ュ ー ル tectonic を live か し, each モ ジ ュ ー ル を unseen fruit に learning す る ア ル ゴ リ ズ ム を Q - Learnin g 拡 zhang type と て て development た. State of plural の ゴ ー ル を most く も speed circuit す る こ と を requirements す る ナ ビ ゲ ー シ ョ を ン subject with い た computer be 験 に よ り, proposal し た ア ル ゴ リ ズ ム に よ り, 単 pure な Q - Learning で は Learning difficulties が に な る scale の subject に お い て も こ れ を unseen fruit に Learning で き る こ と が shown さ れ た.