Maximal Information Divergence from Statistical Models Defined by Neural Networks
Maximal Information Divergence from Statistical Models Defined by Neural Networks
复制标题
神经网络定义的统计模型的最大信息分歧
DOI：
--
复制
发表时间：
2013
期刊：
影响因子：
--
通讯作者：
N. Ay
中科院分区：
文献类型：
--
作者：
Guido Montúfar;Johannes Rauh;N. Ay
我们回顾最近的结果Kullback-Leibler信息分歧的最大值从神经网络定义的统计模型，包括朴素贝叶斯模型，限制玻尔兹曼机，深度信念网络，和各类指数族。我们说明的方法来计算从一个给定的模型从简单的子或超级模型的最大分歧。本文给出了有限值单位的深窄信度网的一个新结果。
We review recent results about the maximal values of the Kullback-Leibler information divergence from statistical models defined by neural networks, including naive Bayes models, restricted Boltzmann machines, deep belief networks, and various classes of exponential families. We illustrate approaches to compute the maximal divergence from a given model starting from simple sub- or super-models. We give a new result for deep and narrow belief networks with finite-valued units.