通信無し強化学習エージェント群による動的環境への追従

使用强化学习代理跟踪动态环境，无需通信

• 批准号: 17J08724
• 负责人: 上野 史
• 金额: $ 1.6万
• 依托单位: The University of Electro-Communications
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-26 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17J08724/
• 关键词: マルチエージェントシステム; 強化学習; 動的環境; 通信なし; 動的変化; 報酬

本年度は3年目のテーマである「実問題における適用」に向けて，1)複数種類の動的変化が複合した環境に対する通信なしマルチエージェント強化学習法の提案，および，2)環境変化が断続的に発生する際の適用方法を提案し，最後に，3)提案手法を一般化し，適用可能な実応用問題を定義した．具体的には，1)に関して，エージェント毎の学習範囲と利用する情報を制限して学習することで，環境形状及びエージェント・ゴール数の変化へ追従する手法を提案し，その有効性を示した．また，2)に関して，1)での提案手法において，学習範囲を制限するタイミング，および利用する情報の窓(どれほど昔の情報まで利用するか)をハイパーパラメータとして設定していたものを，環境に合わせて適応的に設定することで，タイミングが異なる断続的な動的変化に追従可能となるように拡張した．これらの成果により，物流システムでいえば，物資の補給地点や目的地，通行路が変わるだけではなく，物資を運ぶロボットの数や目的が増えたとき，そしてそのタイミングが不明であっても，各ロボットが通信を一切行わずに協調行動の学習が可能となり，実問題に対する適用範囲が大きく広がった．そしてこれらの成果は，国際ジャーナルSN Computer Scienceへ掲載が決定しており，英語論文誌SICE JCMSIに掲載済みである．また，国内学会FIT2019，JAWS2019，そして国際会議OptLearnMAS2020にて発表を行った．最後に，3)に関しては，1)と2)の提案手法について，学習範囲の制限により，各エージェントの学習を2体エージェントの協調で分割可能腕あり，提案手法の性能は十分発揮できることを示し，問題に関しては，提案手法がエージェント同士の衝突を加味した上でも性能を発揮することを実験で示した．これにより，実問題として想定していた倉庫ロボットへの適用が可能であることがわかった．この成果は電気学会論文誌Cに掲載済みである．

This year's goal is to: 1) propose a reinforcement learning method for multiple types of mobile communication, 2) propose an appropriate method for the generation of mobile communication, 3) generalize the proposed method, and define the applicable problem. Specifically, 1) relevant information, such as the shape of the environment and the number of changes in the learning environment, is used to limit the learning process. 2) Related, 1) The proposal method in the middle of the study, the scope of control, the use of information (the use of information), the environment, the appropriate setting, the change of movement, the possibility of expansion. The results of the logistics are as follows: the supply location of resources and the destination of resources; the traffic route; the number of resources and the destination of resources; the number of resources and the destination; the number of resources International Journal of Computer Science (SICE JCMSI) International Conference on OptLearnMAS2020, FIT2019, JAWS2019, China Finally, 3) in relation to 1) and 2), the proposal method is divided into two parts: the learning range is limited, the learning range is coordinated, and the performance of the proposal method is divided into two parts. The problem is that if you want to fix the problem, you have to fix it. The results of this paper are published in Journal C of the Institute of Electrical Engineering.

项目成果

SLIM Spacecraft Location Estimation by Crater Matching Based on Similar Triangles and Its Improvement

基于相似三角形的弹坑匹配的SLIM航天器位置估计及其改进

• DOI: 10.2322/astj.jsass-d-17-00011
• 发表时间: 2018
• 期刊: AEROSPACE TECHNOLOGY JAPAN, THE JAPAN SOCIETY FOR AERONAUTICAL AND SPACE SCIENCES
• 作者: 石井 晴之;福田 盛介;澤井 秀次郎;坂井 真一郎;村田 暁紀;上野 史;辰巳 嵩豊;梅内 祐太;高玉 圭樹;原田 智広;鎌田 弘之;石田 貴行
• 通讯作者: 石田 貴行

Niche Radius Adaptation in Bat Algorithm for Location Multiple Optima in Multimodal Functions

蝙蝠算法中的小生境半径适应多模态函数中的位置多重最优

• 发表时间: 2019
• 作者: Takuya Iwase;Ryo Takano;Fumito Uwano;Hiroyuki Sato;and Keiki Takadama
• 通讯作者: and Keiki Takadama

包括的な撮影画像パターンに対するSLIM探査機の自己位置推定の評価と精度向上

基于综合像图的SLIM航天器自定位评估及精度提升

• 发表时间: 2018
• 作者: 小野 貴史;菊嶌 孝太郎;大橋 理人;生越 專介;上野 史，村田 暁紀，辰巳 嵩豊，高玉 圭樹，鎌田 弘之，石田 貴行，福田 盛介，澤井 秀次郎，坂井 真一郎
• 通讯作者: 上野 史，村田 暁紀，辰巳 嵩豊，高玉 圭樹，鎌田 弘之，石田 貴行，福田 盛介，澤井 秀次郎，坂井 真一郎

Ensemble Heart Rate Extraction Method for Biological Data from Pressure Sensor Sensor

压力传感器生物数据的整体心率提取方法

• 发表时间: 2018
• 作者: Haruyuki Ishii;Yuta Umenai;Kazuma Matsumoto;Fumito Uwano;Takato Tatsumi;Keiki Takadama;Hiroyuki Kamata;Takayuki Ishida;Seisuke Fukuda;Shujiro Sawai;and Shinichiro Sakai;上野史，髙玉圭樹;上野史，村田暁紀，辰巳嵩豊，髙玉圭樹，鎌田弘之，石田貴行，福田盛介，澤井秀次郎，坂井真一郎;長谷川智，上野史，髙玉圭樹;岩瀬拓哉，高野諒，上野史，佐藤寛之，髙玉圭樹;北島瑛貴，辰巳嵩豊，村田暁紀，上野史，髙玉圭樹;田島友祐，上野史，原田智広，髙玉圭樹;Fumito Uwano;Fumito Uwano
• 通讯作者: Fumito Uwano

Strategies to Improve Cuckoo Search Toward Adapting Randomly Changing Environment

改进布谷鸟搜索以适应随机变化环境的策略

• 发表时间: 2017
• 作者: Haruyuki Ishii;Yuta Umenai;Kazuma Matsumoto;Fumito Uwano;Takato Tatsumi;Keiki Takadama;Hiroyuki Kamata;Takayuki Ishida;Seisuke Fukuda;Shujiro Sawai;and Shinichiro Sakai;上野史，髙玉圭樹;上野史，村田暁紀，辰巳嵩豊，髙玉圭樹，鎌田弘之，石田貴行，福田盛介，澤井秀次郎，坂井真一郎;長谷川智，上野史，髙玉圭樹;岩瀬拓哉，高野諒，上野史，佐藤寛之，髙玉圭樹;北島瑛貴，辰巳嵩豊，村田暁紀，上野史，髙玉圭樹;田島友祐，上野史，原田智広，髙玉圭樹;Fumito Uwano;Fumito Uwano;Yuta Umenai;Haruyuki Ishii;Akari Tobaru;Eiki Kitajima;Satoshi Hasegawa;上野 史;Yuta Umenai
• 通讯作者: Yuta Umenai