Coordinated crawling via reinforcement learning
Coordinated crawling via reinforcement learning
复制标题
通过强化学习协调爬行
DOI：
10.1098/rsif.2020.0198
复制
发表时间：
2020
影响因子：
3.9
通讯作者：
Mahadevan, L.
中科院分区：
文献类型：
--
作者：
Mishra, Shruti;van Rees, Wim M.;Mahadevan, L.
直线爬行运动是细长软体动物的一种原始而常见的运动方式。它需要协调的收缩，这种收缩沿着与环境相互作用的物体传播。我们提出了一个简单的方法来理解这种协调是如何产生的神经力学模型的分段，软体爬行动物通过一个迭代的过程，可能有生物的前因和技术的相关性。使用简单的强化学习算法，我们表明初始的全对全神经耦合收敛到简单的最近邻神经布线，允许爬行者使用局部收缩波向前移动，这种收缩波在性质上类似于在果蝇中观察到的情况。黑腹幼虫并用于许多仿生解决方案。由此产生的解决方案是我们如何在奖励中加权步态正则化的函数，在速度和对本体感受噪声的鲁棒性之间进行权衡。总的来说，我们的研究结果将脑-体-环境三元组嵌入到学习方案中，与软机器人相关，同时揭示了运动的进化和发展。
Rectilinear crawling locomotion is a primitive and common mode of locomotion in slender soft-bodied animals. It requires coordinated contractions that propagate along a body that interacts frictionally with its environment. We propose a simple approach to understand how this coordination arises in a neuromechanical model of a segmented, soft-bodied crawler via an iterative process that might have both biological antecedents and technological relevance. Using a simple reinforcement learning algorithm, we show that an initial all-to-all neural coupling converges to a simple nearest-neighbour neural wiring that allows the crawler to move forward using a localized wave of contraction that is qualitatively similar to what is observed inDrosophila melanogasterlarvae and used in many biomimetic solutions. The resulting solution is a function of how we weight gait regularization in the reward, with a trade-off between speed and robustness to proprioceptive noise. Overall, our results, which embed the brain–body–environment triad in a learning scheme, have relevance for soft robotics while shedding light on the evolution and development of locomotion.
登录
查看更多内容
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
W. Garrey;A. Moore
通讯作者：
A. Moore
发育神经科学：抽搐的意义
影响因子：
9.2
作者：
Darshana Narayanan;A. Ghazanfar
通讯作者：
A. Ghazanfar
影响因子：
4.3
作者：
Loveless, Jane;Lagogiannis, Konstantinos;Webb, Barbara
通讯作者：
Webb, Barbara
DOI：
10.1098/rspb.2014.1092
发表时间：
2014-09-07
影响因子：
4.7
作者：
Paoletti, P.;Mahadevan, L.
通讯作者：
Mahadevan, L.
影响因子：
3.1
作者：
Kohsaka H;Guertin PA;Nose A
通讯作者：
Nose A