Intrinsic interactive reinforcement learning - Using error-related potentials for real world human-robot interaction.
Intrinsic interactive reinforcement learning - Using error-related potentials for real world human-robot interaction.
复制标题
DOI：
10.1038/s41598-017-17682-7
复制
发表时间：
2017-12-14
影响因子：
4.6
通讯作者：
Kirchner F
中科院分区：
文献类型：
--
作者：
Kim SK;Kirchner EA;Stefes A;Kirchner F
强化学习（RL）使机器人能够根据反馈在动态环境中学习其最佳行为策略。在机器人RL期间的显式人类反馈是有利的，因为显式奖励函数可以容易地适应。然而，对于人类来说，持续地和明确地生成反馈是非常苛刻和令人厌倦的。因此，内隐教学法的发展具有重要意义。在本文中，我们使用了错误相关电位（ErrP），在人类脑电图（EEG）的事件相关活动，作为一个内在产生的内隐反馈（奖励）RL。最初，我们验证了我们的方法与七个科目在一个模拟的机器人学习场景。ErrPs在单次试验中被在线检测到，平衡准确率（bACC）为91%，这足以学习识别手势以及人类手势和机器人动作之间的正确映射。最后，我们在一个真实的机器人场景中验证了我们的方法，其中七个受试者自由选择手势，真实的机器人正确地学习手势和动作之间的映射（ErrP检测（90%bACC））。在本文中，我们证明了在强化学习中内在生成的基于EEG的人类反馈可以成功地用于隐式地改善人机交互过程中基于手势的机器人控制。我们称我们的方法为内在交互式RL。
Reinforcement learning (RL) enables robots to learn its optimal behavioral strategy in dynamic environments based on feedback. Explicit human feedback during robot RL is advantageous, since an explicit reward function can be easily adapted. However, it is very demanding and tiresome for a human to continuously and explicitly generate feedback. Therefore, the development of implicit approaches is of high relevance. In this paper, we used an error-related potential (ErrP), an event-related activity in the human electroencephalogram (EEG), as an intrinsically generated implicit feedback (rewards) for RL. Initially we validated our approach with seven subjects in a simulated robot learning scenario. ErrPs were detected online in single trial with a balanced accuracy (bACC) of 91%, which was sufficient to learn to recognize gestures and the correct mapping between human gestures and robot actions in parallel. Finally, we validated our approach in a real robot scenario, in which seven subjects freely chose gestures and the real robot correctly learned the mapping between gestures and actions (ErrP detection (90% bACC)). In this paper, we demonstrated that intrinsically generated EEG-based human feedback in RL can successfully be used to implicitly improve gesture-based robot control during human-robot interaction. We call our approach intrinsic interactive RL.
登录
查看更多内容
影响因子：
3
作者：
Combrisson, Etienne;Jerbi, Karim
通讯作者：
Jerbi, Karim
影响因子：
4.6
作者：
Ferrez, Pierre W.;Millan, Jose del R.
通讯作者：
Millan, Jose del R.
影响因子：
7.5
作者：
Auer, P;Cesa-Bianchi, N;Fischer, P
通讯作者：
Fischer, P
影响因子：
3.7
作者：
Kirchner, Elsa Andrea;Kim, Su Kyoung;Fahle, Manfred
通讯作者：
Fahle, Manfred
DOI：
10.1109/tnsre.2010.2053387
发表时间：
2010-08-01
影响因子：
4.9
作者：
Chavarriaga, Ricardo;Millan, Jose del R.
通讯作者：
Millan, Jose del R.