実環境における深層強化学習の実現と群ロボットへの展開

在真实环境中实现深度强化学习并将其部署到群体机器人中

• 批准号: 19K12147
• 负责人: 堀内 匡
• 金额: $ 2.83万
• 依托单位: Matsue National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19K12147/
• 关键词: 深層強化学習; 知能ロボティクス; 群ロボット; 行動獲得

本研究では，実環境での深層強化学習の実現と群ロボットの協調行動の獲得を目指す．実環境での深層強化学習を実現するために「シミュレーションと実機の差異の低減手法」を導入する．まず，本研究の第一目的として「複雑な実環境での単一のロボットの行動獲得」を実現する．室内環境を模した環境において，単一の移動ロボットの視覚情報に基づく行動獲得を深層強化学習により実現する．次に，複数のロボットが存在する環境を想定し，「実機の群ロボットを対象とした協調行動の獲得」を本研究の第二目的とする．実機の群ロボットの環境における「追い抜き行動」などの協調行動の獲得を深層強化学習により実現する．さらに，本研究の第三目的として「深層強化学習における行動選択の説明性の向上」を実現する．深層強化学習において，ロボットがカメラ画像内のどの領域に注目して行動を選択したかを明らかにする．本年度は，第二目的である「実機の群ロボットを対象とした協調行動の獲得」および第三目的である「深層強化学習における行動選択の説明性の向上」に重点を置いて，研究を進めた．周囲360度を計測できるLiDARと汎用ロボットソフトウェアROSを搭載した車輪型移動ロボットを導入し，3台のロボットが存在する群ロボット環境において，「追い抜き行動の獲得」と「追従行動の獲得」の各タスクについて，深層強化学習としてDQN (Deep Q-network) を用いて有効性を検証した．また，深層学習の注視領域の可視化手法であるGrad-CAMと決定木学習を併用した手法を適用し，ロボットがカメラ画像内のどの領域と距離センサのどの部分に注目して行動を選択したかを検証した．しかし，コロナ禍のため，シミュレーション実験に比べて，実機実験をあまり実施できなかった．そのため，研究期間を一年間再延長し，令和5年度までとした．

This study aims to provide guidance for the realization of deep reinforcement learning and the acquisition of coordinated actions in a real environment. Deep reinforcement learning in real environments is implemented by introducing a method for reducing differences between real environments. The first objective of this study is to achieve the goal of "recovering the environment and achieving the goal of action." Indoor environment, environment The second objective of this study is to determine the environment in which multiple objects exist. The environment of real-time group communication is realized by "pursuit and action", coordinated action is obtained, and deep reinforcement learning is realized. In addition, the third objective of this study is to realize the explanatory upward direction of action selection in deep reinforcement learning. Deep reinforcement learning is a process of selecting, selecting, and identifying areas of interest within a picture. This year, the focus of the second goal is "real-time group communication and acquisition of coordinated actions" and the third goal is "illustrative and upward action selection for deep reinforcement learning", and research is progressing. 360 ° measurement of LiDAR and universal use of software to detect ROS installed in wheel-type mobile devices, 3 sets of software to detect the presence of a group of devices in the environment,"pursuit of action to obtain" and "pursuit of action to obtain" in each case, deep reinforcement learning to detect DQN (Deep Q-network) in use. Grad-CAM determines the application of the visualization technique for deep learning in the field of observation, and the selection of the action for observation in the field of observation in the portrait. In the end, we're going to have to do something about it. We're going to have to do something about it. The duration of the study was extended for one year and five years.

项目成果

ベイズ最適化を用いた深層強化学習のハイパーパラメータの最適化

使用贝叶斯优化优化深度强化学习的超参数

• 发表时间: 2023
• 作者: R. Watanuki;T. Horiuchi and T. Aodai;生和直央，堀内 匡;曽田涼介，西村拓人，堀内 匡
• 通讯作者: 曽田涼介，西村拓人，堀内 匡

深層強化学習の群ロボットへの応用：移動ロボット群の行動獲得

深度强化学习在群体机器人中的应用：移动机器人群体的行为获取

• 发表时间: 2019
• 作者: R. Watanuki;T. Horiuchi and T. Aodai;西田吉克，福田隼也，綿貫零真，堀内 匡，青代敏行;福田隼也，綿貫零真，堀内 匡，青代敏行;綿貫零真，カン サリュー，堀内 匡，青代敏行
• 通讯作者: 綿貫零真，カン サリュー，堀内 匡，青代敏行

Generation of Hand Contour Images using Colored Glove and Its Application to Hand Pattern Recognition

彩色手套手部轮廓图像生成及其在手部模式识别中的应用

• DOI: 10.1541/ieejeiss.140.61
• 发表时间: 2020
• 期刊: IEEJ Transactions on Electronics, Information and Systems
• 作者: 一箭 フェルナンド ヒロシ，堀内 匡;藤嶋教彰，北尾 樹，高橋歩武，堀内 匡
• 通讯作者: 藤嶋教彰，北尾 樹，高橋歩武，堀内 匡

深層強化学習を用いた群ロボットの協調行動の獲得に関する検討

利用深度强化学习获取群体机器人协作行为的研究

• 发表时间: 2022
• 作者: R. Watanuki;T. Horiuchi and T. Aodai;生和直央，堀内 匡;曽田涼介，西村拓人，堀内 匡;福島 英，曽田涼介，堀内 匡
• 通讯作者: 福島 英，曽田涼介，堀内 匡

深層強化学習を用いた群ロボットの実機環境での行動獲得の試み

尝试使用深度强化学习来获取真实环境中群体机器人的行为

• 发表时间: 2020
• 作者: S. Matsuda;T. Horiuchi;M. Higa;A. Ashraful and J. Salsgiver;福島 英，山田航平，堀内 匡;石原悠登，石川晃太朗，堀内 匡，一箭 フェルナンド ヒロシ;綿貫零真，カン サリュー，福島 英，堀内 匡
• 通讯作者: 綿貫零真，カン サリュー，福島 英，堀内 匡