Leveraging Multi-modal Sensing for Robotic Insertion Tasks in R&D Laboratories
Leveraging Multi-modal Sensing for Robotic Insertion Tasks in R&D Laboratories
复制标题
利用多模态传感执行 R 中的机器人插入任务
DOI：
10.1109/case56687.2023.10260414
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Butterworth A
中科院分区：
文献类型：
--
作者：
Butterworth A
在化学实验室中进行大量实验会产生重复性的操作，从而浪费研究人员的时间，因此非常需要将这些例程自动化。以前的机器人化学实验已经自主地进行了大量的实验，然而，这些过程在从固体或液体添加到最终产品分析的所有阶段都依赖于自动化机器。在这些系统中，机器之间的每次转换都需要机器人化学家拾取和放置玻璃小瓶，然而，这目前是使用开环方法来执行的，开环方法要求机器人使用的所有设备处于明确定义的已知位置。我们试图开始关闭这个小瓶处理过程中的循环，这种方式也促进了化学实验室环境中的人机协作。为此，机器人必须能够检测其正在收集的小瓶的有效放置位置，并将其可靠地插入检测到的位置。我们创建了一个单一的模态视觉方法估计放置位置，以提供一个基线，然后引入两个额外的反馈方法（力和触觉反馈）。我们的视觉方法使用经典计算机视觉方法和CNN神经网络的组合来检测可能的插入点，然后抓住小瓶并将其定位在插入点上方，多模态方法使用有效的搜索模式来引导最终的插入运动。通过实验，我们发现在加入我们的“力和视觉”多模态反馈方法后，基线插入率从48.78%提高到89.55%。
Performing a large volume of experiments in Chemistry labs creates repetitive actions costing researchers time, automating these routines is highly desirable. Previous experiments in robotic chemistry have performed high numbers of experiments autonomously, however, these processes rely on automated machines in all stages from solid or liquid addition to analysis of the final product. In these systems every transition between machine requires the robotic chemist to pick and place glass vials, however, this is currently performed using open loop methods which require all equipment being used by the robot to be in well defined known locations. We seek to begin closing the loop in this vial handling process in a way which also fosters human-robot collaboration in the chemistry lab environment. To do this the robot must be able to detect valid placement positions for the vials it is collecting, and reliably insert them into the detected locations. We create a single modality visual method for estimating placement locations to provide a baseline before introducing two additional methods of feedback (force and tactile feedback). Our visual method uses a combination of classic computer vision methods and a CNN discriminator to detect possible insertion points, then a vial is grasped and positioned above an insertion point and the multi-modal methods guide the final insertion movements using an efficient search pattern. Through our experiments we show the baseline insertion rate of 48.78% improves to 89.55% with the addition of our ‘force and vision’ multi-modal feedback method.
登录
查看更多内容
影响因子：
5.8
作者：
Shiri P;Lai V;Zepel T;Griffin D;Reifman J;Clark S;Grunert S;Yunker LPE;Steiner S;Situ H;Yang F;Prieto PL;Hein JE
通讯作者：
Hein JE
影响因子：
5.2
作者：
Fang, Hongjie;Fang, Hao-Shu;Lu, Cewu
通讯作者：
Lu, Cewu
ARchemist：自主机器人化学系统架构*
DOI：
10.48550/arxiv.2204.13571
发表时间：
2022
期刊：
2022 International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Hatem Fakhruldeen;Gabriella Pizzuto;J. Głowacki;Andrew I. Cooper
通讯作者：
Andrew I. Cooper
影响因子：
5.2
作者：
Jiaqi Jiang;G. Cao;Thanh-Toan Do;Shan Luo
通讯作者：
Jiaqi Jiang;G. Cao;Thanh-Toan Do;Shan Luo
DOI：
10.1109/tmech.2022.3201057
发表时间：
2022-08
期刊：
IEEE/ASME Transactions on Mechatronics
影响因子：
--
作者：
Jiaqi Jiang;G. Cao;Aaron Butterworth;Thanh-Toan Do;Shan Luo
通讯作者：
Jiaqi Jiang;G. Cao;Aaron Butterworth;Thanh-Toan Do;Shan Luo