群強化学習法の開発

小组强化学习方法的发展

• 批准号: 19650031
• 负责人: 飯間 等
• 金额: $ 1.15万
• 依托单位: Kyoto Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19650031/
• 关键词: 強化学習; Particle Swarm Optimization; アントコロニー最適化法; 群知能

通常の強化学習では一つのエージェントのみを用いて学習を行うので複雑な問題では学習に時間がかかりすぎるという欠点がある。したがって、強化学習の実用化に向けて学習を高速に行う新しい方法を開発することが必要不可欠である。本研究では、短時間で学習を行うために複数のエージェントを用意し、各エージェントが通常の強化学習法で学習を行うとともに、エージェント間の情報交換により他のエージェントの学習成果を参照して学習を行う群強化学習法を提案した。本年度は、鳥の群れ行動にヒントを得た最適化手法であるParticle Swarm Optimizationを用いた群強化学習法におけるエージェント間の情報交換方法を提案した。また、各エージェントが行う個別学習法として、SarsaやActor-Criticを用いた方法を提案した。また、より複雑な問題に対する群強化学習法の有効性を検証するために、倒立振子制御問題、サッカーゲーム問題、マルチエージェント環境の問題に群強化学習法を適用し、これらの問題に対しても短時間に良い方策を獲得できることを確認した。さらに、蟻の群れ行動にヒントを得た最適化手法であるアントコロニー最適化法を用いた群強化学習法を提案した。この群強化学習法では他のエージェントの学習成果を行動選択に利用する新しい枠組みを用いている。以上の成果より、従来の1エージェント強化学習法より短時間に良い方策を獲得できる群強化学習法を開発することができた。

Usually の reinforcement learning で は a つ の エ ー ジ ェ ン ト の み を with い て line learning を う の で complex 雑 な problem で は learning に time が か か り す ぎ る と い う points less が あ る. し た が っ て, reinforcement learning の be to け in turn に て learning を high-speed line に う new し い method を open 発 す る こ と が need not owe で あ る. This study で は line, short time で learning を う た め に plural の エ ー ジ ェ ン ト を intention し, various エ ー ジ ェ ン ト が line usually の reinforcement learning method で を う と と も に, エ ー ジ ェ ン ト の に exchange of information between よ り he の エ ー ジ ェ ン ト の learning outcomes を reference し て line learning を う group of reinforcement learning method proposed を し た. は, birds this year の group れ action に ヒ ン ト を have た Optimization technique で あ る Particle Swarm Optimization を with い た group of reinforcement learning method に お け る エ ー ジ ェ ン ト の way exchange of information between を proposal し た. ま た, various エ ー ジ ェ ン ト が line う individual learning method と し て, Sarsa や Actor - Critic を with い た method proposed を し た. ま た, よ り complex 雑 な problem に す seaborne る group of reinforcement learning method の have sharper sex を 検 card す る た め に, inverted oscillator suppression problems, サ ッ カ ー ゲ ー ム problem, マ ル チ エ ー ジ ェ ン ト environmental の に を group of reinforcement learning method applicable し, こ れ ら の problem に し seaborne て も に short time good い order を get で き る こ と を confirm し た. さ ら に, ant の group れ action に ヒ ン ト を have た optimization technique で あ る ア ン ト コ ロ ニ ー を optimization method with い た group of reinforcement learning method proposed を し た. こ の group of reinforcement learning method で は he の エ ー ジ ェ ン ト の learning outcomes を action sentaku に using す る new し い 枠 group み を with い て い る. All above の よ り, 1 エ 従 to の ー ジ ェ ン ト reinforcement learning method よ り に short time good い order を get で き る group of reinforcement learning method を open 発 す る こ と が で き た.