User-guided motion planning with reinforcement learning for human-robot collaboration in smart manufacturing
User-guided motion planning with reinforcement learning for human-robot collaboration in smart manufacturing
复制标题
智能制造中人机协作的用户引导运动规划和强化学习
DOI：
10.1016/j.eswa.2022.118291
复制
发表时间：
2022
影响因子：
8.5
通讯作者：
Chang, Qing
中科院分区：
文献类型：
--
作者：
Yu, Tian;Chang, Qing
在当今的制造系统中，机器人被期望与人类合作执行日益复杂的操作任务。然而，目前的工业机器人在很大程度上仍然是预先编程的，几乎没有自主性，仍然需要机器人专家对即使是轻微变化的任务进行重新编程。因此，非常希望机器人能够通过运动规划策略来适应特定的任务变化，以便在制造环境中轻松地与非机器人专家合作。在本文中，我们提出了一种用户引导的运动规划算法，并结合强化学习(RL)方法，使机器人能够通过从几个动觉人类演示中学习来自动生成新任务的运动规划。特定应用环境中常见的人类演示任务的特征被抽象并保存在库中，例如，桌面组装或仓库装卸。提出了库中特征与新任务特征之间的语义相似度的定义，并将其用于构造RL中的奖励函数。为了实现面向任务变化或新任务需求的自适应运动规划，基于Q-学习训练的运动规划策略，将库中嵌入的特征映射到合适的任务段。新任务既可以作为库中几个功能的组合来学习，也可以在当前库不足以执行新任务的情况下需要进一步的人工演示。我们在一个六自由度UR5e机器人上对我们的方法在多个任务和场景下进行了评估，并展示了我们的方法在不同场景下的有效性。
In today’s manufacturing system, robots are expected to perform increasingly complex manipulation tasks in collaboration with humans. However, current industrial robots are still largely preprogrammed with very little autonomy and still required to be reprogramed by robotics experts for even slightly changed tasks. Therefore, it is highly desirable that robots can adapt to certain task changes with motion planning strategies to easily work with non-robotic experts in manufacturing environments. In this paper, we propose a user-guided motion planning algorithm in combination with reinforcement learning (RL) method to enable robots automatically generate their motion plans for new tasks by learning from a few kinesthetic human demonstrations. Features of common human demonstrated tasks in a specific application environment, e.g., desk assembly or warehouse loading/unloading are abstracted and saved in a library. The definition of semantical similarity between features in the library and features of a new task is proposed and further used to construct the reward function in RL. To achieve an adaptive motion plan facing task changes or new task requirements, features embedded in the library are mapped to appropriate task segments based on the trained motion planning policy using Q-learning. A new task can be either learned as a combination of a few features in the library or a requirement for further human demonstration if the current library is insufficient for the new task. We evaluate our approach on a 6 DOF UR5e robot on multiple tasks and scenarios and show the effectiveness of our method with respect to different scenarios.
登录
查看更多内容
DOI：
10.1007/978-3-642-14743-2_26
发表时间：
2007
期刊：
--
影响因子：
--
作者：
Kris K. Hauser;V. Ng-Thow-Hing;H. González-Baños
通讯作者：
Kris K. Hauser;V. Ng-Thow-Hing;H. González-Baños
DOI：
--
发表时间：
2021
期刊：
IEEE International Conference on Robotics and Automation
影响因子：
--
作者：
Riddhiman Laha;Luis F. C. Figueredo;Juraj Vrabel;Abdalla Swikir;S. Haddadin
通讯作者：
S. Haddadin
使用离散事件仿真改进小批量制造系统的规划
DOI：
--
发表时间：
2019
期刊：
Sustainable Production: Novel Trends in Energy, Environment and Material Systems
影响因子：
--
作者：
M. Jurczyk
通讯作者：
M. Jurczyk
影响因子：
4.3
作者：
El Zaatari, Shirine;Marei, Mohamed;Usman, Zahid
通讯作者：
Usman, Zahid
DOI：
10.1109/70.508439
发表时间：
1996-08-01
期刊：
IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION
影响因子：
--
作者：
Kavraki, LE;Svestka, P;Overmars, MH
通讯作者：
Overmars, MH