Learning Needle Pick-and-Place Without Expert Demonstrations
Learning Needle Pick-and-Place Without Expert Demonstrations
复制标题
无需专家演示即可学习针取放
DOI：
10.1109/lra.2023.3266720
复制
发表时间：
2023
影响因子：
5.2
通讯作者：
Bendikas R
中科院分区：
文献类型：
--
作者：
Bendikas R
我们介绍了一种新的方法，用于学习复杂的多阶段针拾取和放置操作任务，用于外科手术应用，使用强化学习，无需专家演示或明确的课程。所提出的方法是基于递归分解的原始任务成一系列的子任务，具有越来越大的复杂性，并利用一个演员-评论家算法与确定性的政策输出。在这项工作中，人类专家使用探索性瓶颈作为将复杂任务划分为更简单的子单元的方便边界点。我们的方法已经成功地学习了针拾取和放置任务的策略，而最先进的TD 3 +HER方法在没有专家演示的帮助下无法取得成功。比较结果表明，我们的方法达到了最高的性能，平均成功率为91%。
We introduce a novel approach for learning a complex multi-stage needle pick-and-place manipulation task for surgical applications using Reinforcement Learning without expert demonstrations or explicit curriculum. The proposed method is based on a recursive decomposition of the original task into a sequence of sub-tasks with increasing complexity and utilizes an actor-critic algorithm with deterministic policy output. In this work, exploratory bottlenecks have been used by a human expert as convenient boundary points for partitioning complex tasks into simpler subunits. Our method has successfully learnt a policy for the needle pick-and-place task, whereas the state-of-the-art TD3+HER method is unable to achieve success without the help of expert demonstrations. Comparison results show that our method achieves the highest performance with a 91% average success rate.
登录
查看更多内容
DOI：
10.1146/annurev-control-062420-090543
发表时间：
2021-01-01
期刊：
ANNUAL REVIEW OF CONTROL, ROBOTICS, AND AUTONOMOUS SYSTEMS, VOL 4, 2021
影响因子：
--
作者：
Attanasio, Aleks;Scaglioni, Bruno;Valdastri, Pietro
通讯作者：
Valdastri, Pietro
影响因子：
5.2
作者：
James, Stephen;Ma, Zicong;Davison, Andrew J.
通讯作者：
Davison, Andrew J.
基于演示技能的机器人手术缝合自主针操作
DOI：
--
发表时间：
2021
期刊：
2021 IEEE 17th International Conference on Automation Science and Engineering (CASE)
影响因子：
--
作者：
K. Schwaner;D. Dall’Alba;P. T. Jensen;P. Fiorini;T. Savarimuthu
通讯作者：
T. Savarimuthu
学习定位、抓握和移交未经改造的手术针
DOI：
10.1109/icra46639.2022.9812393
发表时间：
2021
期刊：
2022 International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Albert Wilcox;J. Kerr;Brijen Thananjeyan;Jeffrey Ichnowski;M. Hwang;Samuel Paradis;Danyal Fer;Ken Goldberg
通讯作者：
Ken Goldberg
SurRoL：一个以开源强化学习为中心且兼容 dVRK 的手术机器人学习平台
DOI：
--
发表时间：
2021
期刊：
IEEE/RJS International Conference on Intelligent RObots and Systems
影响因子：
--
作者：
Jiaqi Xu;Bin Li;Bo Lu;Yunhui Liu;Q. Dou;P. Heng
通讯作者：
P. Heng