Evidence that recurrent circuits are critical to the ventral stream's execution of core object recognition behavior.
Evidence that recurrent circuits are critical to the ventral stream's execution of core object recognition behavior.
复制标题
DOI：
10.1038/s41593-019-0392-5
复制
发表时间：
2019-06
影响因子：
25
通讯作者：
DiCarlo JJ
中科院分区：
文献类型：
--
作者：
Kar K;Kubilius J;Schmidt K;Issa EB;DiCarlo JJ
非循环深度卷积神经网络（DCNNs）是目前最好的核心目标识别模型；这种行为是由密集循环的灵长类动物腹侧流支持的，并在颞下皮层达到顶峰。如果循环对这种行为至关重要，那么灵长类动物在处理前馈IT响应之外需要额外循环处理的图像时，应该优于仅前馈的DCNNs。在这里，我们首先使用行为方法来发现数百个这样的“挑战”图像。其次，利用大规模电生理学，我们观察到，与灵长类动物性能匹配的“对照”图像相比，“挑战”图像在IT中出现行为充足的物体识别解决方案要晚30毫秒。第三，前馈DCNN激活很难预测这些行为关键的后期IT响应模式。有趣的是，非常深的cnn和较浅的循环cnn更好地预测了这些后期的IT响应，这表明附加非线性变换和递归之间的功能等效。除了论证循环电路对于快速对象识别至关重要之外，我们的结果为未来循环模型的开发提供了强有力的约束。
Non-recurrent deep convolutional neural networks (DCNNs) currently best model core object recognition; a behavior supported by the densely recurrent primate ventral stream, culminating in the inferior temporal (IT) cortex. If recurrence is critical to this behavior, then primates should outperform feedforward-only DCNNs for images that require additional recurrent processing beyond the feedforward IT response. Here we first used behavioral methods to discover hundreds of these “challenge” images. Second, using large-scale electrophysiology, we observed that behaviorally-sufficient object identity solutions emerged ~30ms later in IT for “challenge” images compared to primate performance-matched “control” images. Third, these behaviorally-critical late-phase IT response patterns were poorly predicted by feedforward DCNN activations. Interestingly, very-deep CNNs and shallower recurrent CNNs better predicted these late IT responses, suggesting a functional equivalence between additional nonlinear transformations and recurrence. Beyond arguing that recurrent circuits are critical for rapid object identification, our results provide strong constraints for future recurrent model development.
登录
查看更多内容
影响因子：
7.7
作者：
Jeurissen, Danique;Self, Matthew W.;Roelfsema, Pieter R.
通讯作者：
Roelfsema, Pieter R.
影响因子：
--
作者：
Oram, Mike W.
通讯作者：
Oram, Mike W.
影响因子：
5.3
作者：
Rajalingham, Rishi;Issa, Elias B.;DiCarlo, James J.
通讯作者：
DiCarlo, James J.
影响因子：
3.7
作者：
Felleman, Daniel J.;Van Essen, David C.
通讯作者：
Van Essen, David C.
影响因子：
3.2
作者：
Fahrenfort, J. J.;Scholte, H. S.;Lamme, V. A. F.
通讯作者：
Lamme, V. A. F.