Multiple visual objects are represented differently in the human brain and convolutional neural networks.
Multiple visual objects are represented differently in the human brain and convolutional neural networks.
复制标题
DOI：
10.1038/s41598-023-36029-z
复制
发表时间：
2023-06-05
影响因子：
4.6
通讯作者：
中科院分区：
文献类型：
--
作者：
真实的世界中的物体通常与其他物体一起出现。为了形成独立于其他对象是否同时编码的对象表示，在灵长类动物的大脑中，对对象对的反应很好地近似于对单独显示的每个组成对象的平均反应。这在猕猴IT神经元对成对和单个物体的响应幅度的斜率中的单个单元水平上被发现，并且在人类腹侧物体处理区域中的fMRI体素响应模式中的群体水平上被发现（例如，LO）。在这里，我们比较了人类大脑和卷积神经网络（CNN）如何表示成对的对象。在人类LO，我们表明，平均存在于单一的功能磁共振成像体素和体素人口的反应。然而，在针对对象分类进行预训练的五个CNN的更高层中，结构、深度和递归处理不同，单位之间的斜率分布以及因此在群体水平上的平均值都显著偏离大脑数据。因此，当对象一起显示时，对象表示在CNN中彼此交互，并且与单独显示对象时不同。这种扭曲可能会严重限制CNN概括在不同上下文中形成的对象表示的能力。
Objects in the real world usually appear with other objects. To form object representations independent of whether or not other objects are encoded concurrently, in the primate brain, responses to an object pair are well approximated by the average responses to each constituent object shown alone. This is found at the single unit level in the slope of response amplitudes of macaque IT neurons to paired and single objects, and at the population level in fMRI voxel response patterns in human ventral object processing regions (e.g., LO). Here, we compare how the human brain and convolutional neural networks (CNNs) represent paired objects. In human LO, we show that averaging exists in both single fMRI voxels and voxel population responses. However, in the higher layers of five CNNs pretrained for object classification varying in architecture, depth and recurrent processing, slope distribution across units and, consequently, averaging at the population level both deviated significantly from the brain data. Object representations thus interact with each other in CNNs when objects are shown together and differ from when objects are shown individually. Such distortions could significantly limit CNNs’ ability to generalize object representations formed in different contexts.
登录
查看更多内容
影响因子：
25
作者：
Kar K;Kubilius J;Schmidt K;Issa EB;DiCarlo JJ
通讯作者：
DiCarlo JJ
影响因子：
64.8
作者：
Epstein, R;Kanwisher, N
通讯作者：
Kanwisher, N
影响因子：
5.3
作者：
Kliger, Libi;Yovel, Galit
通讯作者：
Yovel, Galit
影响因子：
16.6
作者：
Jacob G;Pramod RT;Katti H;Arun SP
通讯作者：
Arun SP
DOI：
10.1111/j.2517-6161.1995.tb02031.x
发表时间：
1995-01-01
影响因子：
5.8
作者：
BENJAMINI, Y;HOCHBERG, Y
通讯作者：
HOCHBERG, Y