Characterizing the Performance of Deep Neural Networks for Eye-Tracking
Characterizing the Performance of Deep Neural Networks for Eye-Tracking
复制标题
表征眼动追踪深度神经网络的性能
DOI：
10.1145/3450341.3458491
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Lescroart, Mark D.
中科院分区：
文献类型：
--
作者：
Biswas, Arnab;Binaee, Kamran;Capurro, Kaylie Jacleen;Lescroart, Mark D.
深度神经网络 (DNN) 提供了强大的工具来识别和跟踪感兴趣的特征，并且最近已用于眼球跟踪。在这里，我们测试了 DNN 在移动眼动追踪中出现的具有挑战性的图像变化类型下预测定位眼睑和瞳孔的关键点的能力。我们模拟了移动眼动追踪中图像变化的五种常见来源的不同程度的扰动：旋转、模糊、曝光、反射和压缩伪影。为了比较图像变化的公共空间中跨域的相对性能下降，我们使用从 DNN (ResNet50) 派生的特征来计算每个扰动视频与用于训练 DNN 的视频的距离。我们发现，与训练分布的余弦距离的增加与所有领域中模型性能的单调下降相关。这些结果提出了优化模型训练的不同图像选择的方法。
Deep neural networks (DNNs) provide powerful tools to identify and track features of interest, and have recently come into use for eye-tracking. Here, we test the ability of a DNN to predict keypoints localizing the eyelid and pupil under the types of challenging image variability that occur in mobile eye-tracking. We simulate varying degrees of perturbation for five common sources of image variation in mobile eye-tracking: rotations, blur, exposure, reflection, and compression artifacts. To compare the relative performance decrease across domains in a common space of image variation, we used features derived from a DNN (ResNet50) to compute the distance of each perturbed video from the videos used to train our DNN. We found that increasing cosine distance from the training distribution was associated with monotonic decreases in model performance in all domains. These results suggest ways to optimize the selection of diverse images for model training.
影响因子：
25
作者：
Mathis, Alexander;Mamidanna, Pranav;Bethge, Matthias
通讯作者：
Bethge, Matthias
DOI：
--
发表时间：
2004
期刊：
影响因子：
--
作者：
James W. Miller;N. Tom
通讯作者：
N. Tom
关于阅读和视觉疲劳。
影响因子：
1.3
作者：
E. Poulton
通讯作者：
E. Poulton