Joint representation of color and form in convolutional neural networks: A stimulus-rich network perspective.
Joint representation of color and form in convolutional neural networks: A stimulus-rich network perspective.
复制标题
DOI：
10.1371/journal.pone.0253442
复制
发表时间：
2021
期刊：
影响因子：
3.7
通讯作者：
Xu Y
中科院分区：
文献类型：
--
作者：
Taylor J;Xu Y
为了与现实世界的物体互动，任何有效的视觉系统都必须联合编码定义每个物体的独特特征。尽管进行了几十年的神经科学研究，但我们仍然缺乏对灵长类大脑如何绑定视觉功能的确切把握。在这里，我们应用一种新的基于网络的丰富刺激表征相似性方法来研究五个卷积神经网络(CNN)中的颜色和形状绑定，这些CNN具有不同的结构、深度和有无递归加工。所有的CNN在早期都表现出近正交的颜色和形状处理，但在更高层的特征编码中，这种交互作用越来越强，对于训练用于对象分类的网络，这种影响比未训练的网络强得多。这些结果首次表征了多个基本视觉特征如何在CNN中一起编码。这里开发的方法可以很容易地实现来表征类似的编码方案是否可以作为灵长类大脑中绑定问题的可行解决方案。
To interact with real-world objects, any effective visual system must jointly code the unique features defining each object. Despite decades of neuroscience research, we still lack a firm grasp on how the primate brain binds visual features. Here we apply a novel network-based stimulus-rich representational similarity approach to study color and form binding in five convolutional neural networks (CNNs) with varying architecture, depth, and presence/absence of recurrent processing. All CNNs showed near-orthogonal color and form processing in early layers, but increasingly interactive feature coding in higher layers, with this effect being much stronger for networks trained for object classification than untrained networks. These results characterize for the first time how multiple basic visual features are coded together in CNNs. The approach developed here can be easily implemented to characterize whether a similar coding scheme may serve as a viable solution to the binding problem in the primate brain.
登录
查看更多内容
影响因子：
16.6
作者：
Grossman, Shany;Gaziv, Guy;Malach, Rafael
通讯作者：
Malach, Rafael
影响因子：
5.3
作者：
Rajalingham, Rishi;Issa, Elias B.;DiCarlo, James J.
通讯作者：
DiCarlo, James J.
影响因子：
5.7
作者：
Eickenberg, Michael;Gramfort, Alexandre;Thirion, Bertrand
通讯作者：
Thirion, Bertrand
影响因子：
13.6
作者：
Kim G;Jang J;Baek S;Song M;Paik SB
通讯作者：
Paik SB
影响因子：
4.3
作者：
Khaligh-Razavi SM;Kriegeskorte N
通讯作者：
Kriegeskorte N