Workload-driven modulation of mixed-reality robot-human communication
Workload-driven modulation of mixed-reality robot-human communication
复制标题
混合现实机器人与人类通信的工作负载驱动调制
DOI：
10.1145/3279810.3279848
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Senem Velipasalar Gursoy
中科院分区：
文献类型：
--
作者：
Leanne M. Hirshfield;T. Williams;Natalie M. Sommer;Trevor Grant;Senem Velipasalar Gursoy
在这项工作中，我们探讨了增强现实注释如何用作混合现实手势的一种形式，神经生理测量如何为是否使用此类手势提供决策依据，以及在使用此类手势时是否以及如何调整语言。在这篇文章中，我们提出了一个关于混合现实环境中机器人与人类之间的通信通道如何根据人类的感知和认知状态进行决策的初步调查。具体地说，我们建议使用高密度功能性近红外光谱(FNIRS)获得的大脑数据来测量认知和情感状态的神经关联，这与自适应人-机器人交互(HRI)特别相关。在这篇文章中，我们描述了fNIR很适合测量的几种感兴趣的状态，它们对HRI适应有直接影响，我们利用我们先前工作中开发的一个框架来探索不同的神经生理测量如何为不同沟通策略的选择提供信息。然后，我们描述了可行性实验的结果，其中多标签卷积长期短期记忆网络被训练来对10名参与者的目标心理状态进行分类，并基于我们的发现讨论了自适应人-机器人团队的研究议程。
In this work we explore how Augmented Reality annotations can be used as a form of Mixed Reality gesture, how neurophysiological measurements can inform the decision as to whether or not to use such gestures, and whether and how to adapt language when using such gestures. In this paper, we propose a preliminary investigation of how decisions regarding robot-to-human communication modality in mixed reality environments might be made on the basis of humans' perceptual and cognitive states. Specifically, we propose to use brain data acquired with high-density functional near-infrared spectroscopy (fNIRS) to measure the neural correlates of cognitive and emotional states with particular relevance to adaptive human-robot interaction (HRI). In this paper we describe several states of interest that fNIRS is well suited to measure and that have direct implications to HRI adaptations and we leverage a framework developed in our prior work to explore how different neurophysiological measures could inform the selection of different communication strategies. We then describe results from a feasibility experiment where multilabel Convolutional Long Short Term Memory Networks were trained to classify the target mental states of 10 participants and we discuss a research agenda for adaptive human-robot teams based on our findings.
DOI：
--
发表时间：
2013
期刊：
--
影响因子：
--
作者：
A. Medvedev
通讯作者：
A. Medvedev
DOI：
10.1073/pnas.90.8.3770
发表时间：
1993-04-15
影响因子：
11.1
作者：
CHANCE, B;ZHUANG, Z;LIPTON, L
通讯作者：
LIPTON, L