Dynamic Bipedal Maneuvers through Sim-to-Real Reinforcement Learning
Dynamic Bipedal Maneuvers through Sim-to-Real Reinforcement Learning
复制标题
通过模拟到真实的强化学习实现动态双足机动
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Alan Fern
中科院分区：
文献类型：
--
作者：
Fangzhou Yu;Ryan Batke;Jeremy Dao;J. Hurst;Kevin R. Green;Alan Fern
对于腿式机器人来说，为了匹配人类和动物的运动能力，它们不仅必须产生鲁棒的周期性行走和跑步，而且还必须在标称运动步态和更专业的瞬时机动之间无缝切换。尽管最近在双足机器人的控制方面取得了进展，但很少关注产生高度动态的行为。最近的工作利用强化学习来产生腿式机器人的控制策略，已经证明了在产生鲁棒的行走行为方面的成功。然而，这些学习策略很难在单个网络上表达多种不同的行为。受传统的基于优化的腿式机器人控制技术的启发，这项工作应用了一种循环策略来执行四步，90次旋转，使用优化的单刚体模型轨迹生成的参考数据进行训练。我们提出了一种新的训练框架，使用尾声终端奖励从预先计算的轨迹数据中学习特定行为，并在双足机器人Cassie上成功地转移到硬件上。
—For legged robots to match the athletic capabilities of humans and animals, they must not only produce robust periodic walking and running, but also seamlessly switch be- tween nominal locomotion gaits and more specialized transient maneuvers. Despite recent advancements in controls of bipedal robots, there has been little focus on producing highly dynamic behaviors. Recent work utilizing reinforcement learning to produce policies for control of legged robots have demonstrated success in producing robust walking behaviors. However, these learned policies have difficulty expressing a multitude of different behaviors on a single network. Inspired by conventional optimization-based control techniques for legged robots, this work applies a recurrent policy to execute four-step, 90 ◦ turns trained using reference data generated from optimized single rigid body model trajectories. We present a novel training framework using epilogue terminal rewards for learning specific behaviors from pre-computed trajectory data and demonstrate a successful transfer to hardware on the bipedal robot Cassie.
DOI：
10.15607/rss.2020.xvi.031
发表时间：
2020-06
期刊：
ArXiv
影响因子：
--
作者：
J. Siekmann;S. Valluri;Jeremy Dao;Lorenzo Bermillo;Helei Duan;Alan Fern;J. Hurst
通讯作者：
J. Siekmann;S. Valluri;Jeremy Dao;Lorenzo Bermillo;Helei Duan;Alan Fern;J. Hurst
DOI：
--
发表时间：
2020-08
期刊：
ArXiv
影响因子：
--
作者：
Roland Hafner;Tim Hertweck;Philipp Kloppner;Michael Bloesch;Michael Neunert;Markus Wulfmeier;S. Tunyasuvunakool;N. Heess;Martin A. Riedmiller
通讯作者：
Roland Hafner;Tim Hertweck;Philipp Kloppner;Michael Bloesch;Michael Neunert;Markus Wulfmeier;S. Tunyasuvunakool;N. Heess;Martin A. Riedmiller
优化单一刚体模型的双足机动以进行强化学习
DOI：
10.1109/humanoids53995.2022.9999741
发表时间：
2022
期刊：
2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids
影响因子：
--
作者：
Batke, Ryan;Yu, Fangzhou;Dao, Jeremy;Hurst, Jonathan;Hatton, Ross L.;Fern, Alan;Green, Kevin
通讯作者：
Green, Kevin