Normalization and pooling in hierarchical models of natural images
Normalization and pooling in hierarchical models of natural images
复制标题
自然图像分层模型中的归一化和池化
DOI：
10.1016/j.conb.2019.01.008
复制
发表时间：
2019
影响因子：
5.7
通讯作者：
Schwartz, Odelia
中科院分区：
文献类型：
--
作者：
Sanchez-Giraldo, Luis G;Laskar, Md Nasir;Schwartz, Odelia
亮点子单元合并和归一化是分层皮质模型的构建块。图像统计模型预测何时在初级皮质中招募归一化。分层模型可以捕获二级和高级皮质中的皮质数据。何时在高级皮质中招募归一化是有可能取得进展的。卷积子单元结构产生了等方差的关键表示属性。分割归一化和子单元合并是两种典型的计算类别，已被广泛用于视觉皮质处理的描述性(What)模型。来自自然图像统计的标准(为什么)模型可以帮助约束这类模型的形式和参数。我们集中在两个特定方向的最新进展，即推导出更丰富的分裂归一化形式，以及从图像统计中学习池的进展。我们讨论了如何将这些组件合并到分层模型中。我们既考虑了图像统计中的分层无监督学习，又考虑了深层卷积神经网络中的区分监督学习。我们进一步讨论了卷积结构的实用性和扩展的研究，这也被最近的描述性模型所采用。我们回顾了最近的文献，并讨论了目前使用这种方法的希望和差距，以获得更好的理解皮质神经元如何代表和处理复杂的视觉刺激。
HighlightsSubunit pooling and normalization are building blocks of hierarchical cortical models.Image statistics models predict when normalization is recruited in primary cortex.Hierarchical models can capture cortical data in secondary and higher cortex.There is potential for progress on when normalization is recruited in higher cortex.Convolutional subunit structure yields a key representation property of equivariance.Divisive normalization and subunit pooling are two canonical classes of computation that have become widely used in descriptive (what) models of visual cortical processing. Normative (why) models from natural image statistics can help constrain the form and parameters of such classes of models. We focus on recent advances in two particular directions, namely deriving richer forms of divisive normalization, and advances in learning pooling from image statistics. We discuss the incorporation of such components into hierarchical models. We consider both hierarchical unsupervised learning from image statistics, and discriminative supervised learning in deep convolutional neural networks (CNNs). We further discuss studies on the utility and extensions of the convolutional architecture, which has also been adopted by recent descriptive models. We review the recent literature and discuss the current promises and gaps of using such approaches to gain a better understanding of how cortical neurons represent and process complex visual stimuli.
登录
查看更多内容
DOI：
--
发表时间：
2013-12
期刊：
--
影响因子：
--
作者：
Il-Su Park;Evan Archer;Nicholas J. Priebe;Jonathan W. Pillow
通讯作者：
Il-Su Park;Evan Archer;Nicholas J. Priebe;Jonathan W. Pillow
DOI：
10.5555/2627435.2697053
发表时间：
2014
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
M. Henniges;Richard E. Turner;M. Sahani;J. Eggert;Jörg Lücke
通讯作者：
M. Henniges;Richard E. Turner;M. Sahani;J. Eggert;Jörg Lücke
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
通讯作者：
--
自然场景统计的分层生成模型中的软混合器分配
影响因子：
2.9
作者：
O. Schwartz;T. Sejnowski;P. Dayan
通讯作者：
P. Dayan
影响因子：
1.8
作者：
Han, Sunhyoung;Vasconcelos, Nuno
通讯作者：
Vasconcelos, Nuno