Shifting the Baseline: Single Modality Performance on Visual Navigation & QA
Shifting the Baseline: Single Modality Performance on Visual Navigation & QA
复制标题
改变基线：视觉导航的单一模态性能
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Yonatan Bisk
中科院分区：
文献类型：
--
作者：
Jesse Thomason;Daniel Gordon;Yonatan Bisk
我们展示了单模态基线在多模态领域中令人惊讶的优势，并对未来研究中的最佳实践提出了具体建议。鉴于现有研究通常与随机或多数类别基线进行比较，我们认为单模态方法能更好地捕捉和反映数据集的偏差，因此在评估多模态技术的性能时提供了一种重要的比较。我们在视觉导航和问答领域的三个近期数据集上进行了单模态消融实验，发现与已发表的基线相比，性能有高达29%的绝对提升。
We demonstrate the surprising strength of unimodal baselines in multimodal domains, and make concrete recommendations for best practices in future research. Where existing work often compares against random or majority class baselines, we argue that unimodal approaches better capture and reflect dataset biases and therefore provide an important comparison when assessing the performance of multimodal techniques. We present unimodal ablations on three recent datasets in visual navigation and QA, seeing an up to 29% absolute gain in performance over published baselines.
DOI：
10.1109/cvpr.2019.01282
发表时间：
2018-11
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Howard Chen;Alane Suhr;Dipendra Kumar Misra;Noah Snavely;Yoav Artzi
通讯作者：
Howard Chen;Alane Suhr;Dipendra Kumar Misra;Noah Snavely;Yoav Artzi
DOI：
10.18653/v1/d18-1287
发表时间：
2018-09
期刊：
--
影响因子：
--
作者：
Dipendra Misra;Andrew Bennett;Valts Blukis;Eyvind Niklasson;Max Shatkhin;Yoav Artzi
通讯作者：
Dipendra Misra;Andrew Bennett;Valts Blukis;Eyvind Niklasson;Max Shatkhin;Yoav Artzi
DOI：
--
发表时间：
2018-10
期刊：
ArXiv
影响因子：
--
作者：
Valts Blukis;Dipendra Misra;Ross A. Knepper;Yoav Artzi
通讯作者：
Valts Blukis;Dipendra Misra;Ross A. Knepper;Yoav Artzi