Grasp Stability Prediction with Sim-to-Real Transfer from Tactile Sensing
Grasp Stability Prediction with Sim-to-Real Transfer from Tactile Sensing
复制标题
通过触觉传感模拟到真实的转换来预测抓取稳定性
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Wenzhen Yuan
中科院分区：
文献类型：
--
作者：
Zilin Si;Zirui Zhu;Arpit Agarwal;Stuart Anderson;Wenzhen Yuan
机器人仿真已经成为数据驱动操作任务的重要工具。然而，大多数现有的仿真框架既缺乏与触觉传感器的有效和准确的物理相互作用模型，也缺乏真实的触觉模拟。这使得基于触觉的操作任务从模拟到真实的转换仍然具有挑战性。在这项工作中，我们通过建模接触物理，将机器人动力学仿真和基于视觉的触觉传感器集成在一起。该接触模型使用机器人末端执行器的模拟接触力来生成真实的触觉输出。为了消除模拟到真实的传递差距，我们用真实世界的数据校准了我们的机器人动力学物理模拟器，接触模型和触觉光学模拟器，然后我们证明了我们的系统在零射击模拟到真实抓取稳定性预测任务中的有效性，我们在各种物体上实现了90.7%的平均精度。实验揭示了将我们的模拟框架应用于更复杂的操作任务的潜力。我们在https://github.com/CMURoboTouch/Taxim/tree/taxim-robot上开放了仿真框架的源代码。
Robot simulation has been an essential tool for data-driven manipulation tasks. However, most existing simulation frameworks lack either efficient and accurate models of physical interactions with tactile sensors or realistic tactile simulation. This makes the sim-to-real transfer for tactile-based manipulation tasks still challenging. In this work, we integrate simulation of robot dynamics and vision-based tactile sensors by modeling the physics of contact. This contact model uses simulated contact forces at the robot's end-effector to inform the generation of realistic tactile outputs. To eliminate the sim-to-real transfer gap, we calibrate our physics simulator of robot dynamics, contact model, and tactile optical simulator with real-world data, and then we demonstrate the effectiveness of our system on a zero-shot sim-to-real grasp stability prediction task where we achieve an average accuracy of 90.7% on various objects. Experiments reveal the potential of applying our simulation framework to more complicated manipulation tasks. We open-source our simulation framework at https://github.com/CMURoboTouch/Taxim/tree/taxim-robot.
登录
查看更多内容
FabricFlowNet：采用基于流的策略进行双手布料操作
DOI：
--
发表时间：
2021
期刊：
Conference on Robot Learning
影响因子：
--
作者：
Weng, Thomas;Bajracharya, Sujay;Wang, Yufei;Agrawal, Khush;Held, David
通讯作者：
Held, David
影响因子：
5.2
作者：
Gomes, Daniel Fernandes;Paoletti, Paolo;Luo, Shan
通讯作者：
Luo, Shan
DOI：
10.1109/cvpr52688.2022.01034
发表时间：
2022-04
期刊：
2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Ruohan Gao;Zilin Si;Yen-Yu Chang;Samuel Clarke;J. Bohg;Li Fei-Fei-Li-Fei-Fei-48004138;Wenzhen Yuan;Jiajun Wu
通讯作者：
Ruohan Gao;Zilin Si;Yen-Yu Chang;Samuel Clarke;J. Bohg;Li Fei-Fei-Li-Fei-Fei-48004138;Wenzhen Yuan;Jiajun Wu
影响因子：
51.1
作者：
Fassnacht, Martin;Berruti, Alfredo;Hammer, Gary D.
通讯作者：
Hammer, Gary D.
ShapeMap 3-D：通过密集的触摸和视觉进行高效的形状映射
DOI：
10.1109/icra46639.2022.9812040
发表时间：
2022
期刊：
IEEE International Conference on Robotics and Automation
影响因子：
--
作者：
Suresh, Sudharshan;Si, Zilin;Mangelson, Joshua G.;Yuan, Wenzhen;Kaess, Michael
通讯作者：
Kaess, Michael