Toward Sim-to-Real Directional Semantic Grasping
Toward Sim-to-Real Directional Semantic Grasping
复制标题
走向模拟到真实的定向语义抓取
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Stan Birchfield
中科院分区：
文献类型：
--
作者：
Shariq Iqbal;Jonathan Tremblay;Thang To;Jia Cheng;Erik Leitch;Andy Campbell;Kirby Leung;Duncan McKay;Stan Birchfield
我们解决了定向语义把握的问题，即从特定方向把握特定对象。我们通过双深度Q网络(DDQN)使用深度强化学习来解决这个问题，该网络学习将下采样的RGB输入图像从手腕安装的摄像头映射到Q值，然后通过交叉熵方法(CEM)将其转换为笛卡尔机器人控制命令。网络的学习完全基于定制机器人模拟器生成的模拟数据，该模拟器对物理现实(接触)和感知质量(高质量渲染)进行建模。使用领域随机化来弥合现实差距。该系统是端到端(将输入的单目RGB图像映射到输出笛卡尔运动命令)从多个预定义的以对象为中心的方向(例如从侧面或顶部)抓取对象的示例。我们在仿真和现实世界中都展示了令人振奋的结果，以及面临的一些挑战和未来在这一领域研究的需要。
We address the problem of directional semantic grasping, that is, grasping a specific object from a specific direction. We approach the problem using deep reinforcement learning via a double deep Q-network (DDQN) that learns to map downsampled RGB input images from a wrist-mounted camera to Q-values, which are then translated into Cartesian robot control commands via the cross-entropy method (CEM). The network is learned entirely on simulated data generated by a custom robot simulator that models both physical reality (contacts) and perceptual quality (high-quality rendering). The reality gap is bridged using domain randomization. The system is an example of end-to-end (mapping input monocular RGB images to output Cartesian motor commands) grasping of objects from multiple pre-defined object-centric orientations, such as from the side or top. We show promising results in both simulation and the real world, along with some challenges faced and the need for future research in this area.
登录
查看更多内容
DOI：
--
发表时间：
2017-07
期刊：
ArXiv
影响因子：
--
作者：
Stephen James;A. Davison;Edward Johns
通讯作者：
Stephen James;A. Davison;Edward Johns
通过公理场景估计进行目标导向的机器人操纵
DOI：
10.1177/0278364916683444
发表时间：
2017
期刊：
The international journal of robotics research
影响因子：
--
作者：
Sui, Zhiqiang;Xiang, Lingzhu;Jenkins, Odest C;Desingh, Karthik
通讯作者：
Desingh, Karthik
DOI：
--
发表时间：
2018-06
期刊：
ArXiv
影响因子：
--
作者：
J. Matas;Stephen James;A. Davison
通讯作者：
J. Matas;Stephen James;A. Davison
DOI：
10.1109/icra.2018.8460538
发表时间：
2017-04
期刊：
2018 IEEE International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Zhen Zeng;Zheming Zhou;Zhiqiang Sui;O. C. Jenkins
通讯作者：
Zhen Zeng;Zheming Zhou;Zhiqiang Sui;O. C. Jenkins
影响因子：
51.1
作者：
Fassnacht, Martin;Berruti, Alfredo;Hammer, Gary D.
通讯作者：
Hammer, Gary D.