Optimization of criterion for objective evaluation of HRI performance that approximates subjective evaluation: a case study in robot competition
Optimization of criterion for objective evaluation of HRI performance that approximates subjective evaluation: a case study in robot competition
复制标题
近似主观评价的 HRI 性能客观评价标准的优化：以机器人竞赛为例
DOI：
10.1080/01691864.2019.1698462
复制
发表时间：
2019
影响因子：
2
通讯作者：
Inamura T.
中科院分区：
文献类型：
--
作者：
Mizuchi Y.;Inamura T.
评估人机交互（HRI）性能的标准方法是主观评估，例如使用问卷调查。因为这样的主观评价是耗时的，一个替代的评价方法的基础上，只有客观因素（即人类的反应行为）是需要自主学习的机器人和得分在机器人比赛等为此，我们的目的是调查在何种程度上主观评价结果可以近似使用客观因素。我们通过机器人竞赛任务观察和存储HRI历史数据，在该任务中，机器人需要生成可理解的和明确的自然语言表达和手势，以指导虚拟日常环境中的非专业用户。此外，为了获得主观评估结果，我们要求第三方通过查看存储的交互历史来评估HRI性能。从机器人比赛的案例研究的结果，我们证明了客观的方法，HRI性能的评价和一个有效的评价标准的确定过程的必要性。多元线性回归分析的结果估计主观评价结果表明，主观评价的HRI确实可以合理地近似的基础上的客观因素。
The standard approach to evaluate the performance of human-robot interaction (HRI) is subjective evaluation, for example, using questionnaires. Because such subjective evaluation is time-consuming, an alternative evaluation method based on only objective factors (i.e. human reaction behavior) is required for autonomous learning by robots and for scoring in robot competitions, etc. To this end, we aimed to investigate the extent to which subjective evaluation results can be approximated using objective factors. We observed and stored HRI history data through a robot-competition task in which the robot was required to generate comprehensible and unambiguous natural language expressions and gestures to guide inexpert users in virtual everyday environments. In addition, to acquire subjective evaluation results, we asked third-parties to evaluate the HRI performance by reviewing the stored interaction histories. From the results of a case study of robot-competition, we demonstrate the necessity for an objective method for the evaluation of HRI performance and a determination process for an effective evaluation criterion. The results of a multiple linear regression analysis to estimate the subjective evaluation results reveal that the subjective evaluation of HRI can indeed be reasonably approximated base on objective factors.
登录
查看更多内容
从基于任务的人机对话中学习环境知识
DOI：
10.1109/icra.2013.6631186
发表时间：
2013
期刊：
2013 IEEE International Conference on Robotics and Automation
影响因子：
--
作者：
T. Kollar;Vittorio Perera;D. Nardi;M. Veloso
通讯作者：
M. Veloso
影响因子：
20.6
作者：
Kanda, T;Ishiguro, H;Ono, T
通讯作者：
Ono, T
通过寻求帮助从失败中恢复
DOI：
--
发表时间：
2015
期刊：
Auton. Robots
影响因子：
--
作者：
Ross A. Knepper;Stefanie Tellex;A. Li;N. Roy;D. Rus
通讯作者：
D. Rus
RoCKIn@Home：家用机器人挑战赛
DOI：
10.5772/intechopen.70015
发表时间：
2017
期刊：
--
影响因子：
--
作者：
L. Iocchi;G. Kraetzschmar;D. Nardi;P. Lima;PedroMiraldo;E. Bastianelli;R. Capobianco
通讯作者：
R. Capobianco
RoCKIn 基准测试和评分系统
DOI：
10.5772/intechopen.70013
发表时间：
2017
期刊：
--
影响因子：
--
作者：
G. Fontana;M. Matteucci;F. Amigoni;ViolaSchiaffonati;Andrea Bonarini;P. Lima
通讯作者：
P. Lima