Visual attention prediction improves performance of autonomous drone racing agents.
Visual attention prediction improves performance of autonomous drone racing agents.
复制标题
DOI：
10.1371/journal.pone.0264471
复制
发表时间：
2022
期刊：
影响因子：
3.7
通讯作者：
Scaramuzza D
中科院分区：
文献类型：
--
作者：
Pfeiffer C;Wengeler S;Loquercio A;Scaramuzza D
人类驾驶无人机的速度比经过端到端自主飞行训练的神经网络更快。这可能与人类飞行员有效选择任务相关视觉信息的能力有关。这项工作研究了能够模仿人眼注视行为和注意力的神经网络是否可以提高神经网络在基于视觉的自主无人机竞赛的挑战性任务中的性能。我们假设基于凝视的注意力预测可以是基于模拟器的无人机竞赛任务中视觉信息选择和决策的有效机制。我们使用来自18名人类无人机飞行员的眼睛注视和飞行轨迹数据来测试这一假设，以训练视觉注意力预测模型。然后，我们使用这个视觉注意力预测模型来训练一个端到端的控制器，用于使用模仿学习的基于视觉的自主无人机比赛。我们将注意力预测控制器的无人机竞赛性能与使用原始图像输入和基于图像的抽象（即，特征轨迹）。通过比较通过自主飞行完成具有挑战性的赛道的成功率，我们的结果表明，基于注意力预测的控制器（88%的成功率）优于RGB图像（61%的成功率）和特征跟踪（55%的成功率）控制器基线。此外，视觉注意力预测和特征跟踪为基础的模型表现出更好的泛化性能比基于图像的模型进行评估时，保持了参考轨迹。我们的研究结果表明，人类视觉注意力预测提高了基于视觉的自主无人机竞赛代理的性能，并为实现基于视觉、快速和敏捷的自主飞行迈出了重要的一步，最终可以达到甚至超过人类的表现。
Humans race drones faster than neural networks trained for end-to-end autonomous flight. This may be related to the ability of human pilots to select task-relevant visual information effectively. This work investigates whether neural networks capable of imitating human eye gaze behavior and attention can improve neural networks’ performance for the challenging task of vision-based autonomous drone racing. We hypothesize that gaze-based attention prediction can be an efficient mechanism for visual information selection and decision making in a simulator-based drone racing task. We test this hypothesis using eye gaze and flight trajectory data from 18 human drone pilots to train a visual attention prediction model. We then use this visual attention prediction model to train an end-to-end controller for vision-based autonomous drone racing using imitation learning. We compare the drone racing performance of the attention-prediction controller to those using raw image inputs and image-based abstractions (i.e., feature tracks). Comparing success rates for completing a challenging race track by autonomous flight, our results show that the attention-prediction based controller (88% success rate) outperforms the RGB-image (61% success rate) and feature-tracks (55% success rate) controller baselines. Furthermore, visual attention-prediction and feature-track based models showed better generalization performance than image-based models when evaluated on hold-out reference trajectories. Our results demonstrate that human visual attention prediction improves the performance of autonomous vision-based drone racing agents and provides an essential step towards vision-based, fast, and agile autonomous flight that eventually can reach and even exceed human performances.
登录
查看更多内容
影响因子：
25
作者：
Foehn, Philipp;Romero, Angel;Scaramuzza, Davide
通讯作者：
Scaramuzza, Davide
影响因子：
3.9
作者：
Kang, Byeongkeun;Lee, Yeejin
通讯作者：
Lee, Yeejin
影响因子：
4.3
作者：
Li, Shuo;Ozo, Michael M. O., I;de Croon, Guido C. H. E.
通讯作者：
de Croon, Guido C. H. E.
影响因子：
64.8
作者：
LAND, MF;LEE, DN
通讯作者：
LEE, DN
影响因子：
5.2
作者：
Jung, Sunggoo;Hwang, Sunyou;Shim, David Hyunchul
通讯作者：
Shim, David Hyunchul