An information theoretic analysis of maximum likelihood mixture estimation for exponential families
An information theoretic analysis of maximum likelihood mixture estimation for exponential families
复制标题
指数族最大似然混合估计的信息论分析
DOI：
10.1145/1015330.1015431
复制
发表时间：
2004
期刊：
影响因子：
--
通讯作者：
S. Merugu
中科院分区：
文献类型：
--
作者：
A. Banerjee;I. Dhillon;Joydeep Ghosh;S. Merugu
无监督学习中的一项重要任务是指数族的最大似然混合估计（MLME）。在本文中，我们证明了该 MLME 问题与 Bregman 散度的率失真问题之间的数学等价性。我们还提出了 Bregman 散度的速率失真理论的新理论结果。此外，还对信息压缩和保存之间的权衡问题进行了分析，得出了信息瓶颈方法作为一个有趣的特例。
An important task in unsupervised learning is maximum likelihood mixture estimation (MLME) for exponential families. In this paper, we prove a mathematical equivalence between this MLME problem and the rate distortion problem for Bregman divergences. We also present new theoretical results in rate distortion theory for Bregman divergences. Further, an analysis of the problems as a trade-off between compression and preservation of information is presented that yields the information bottleneck method as an interesting special case.
DOI：
10.1137/1.9781611972740.22
发表时间：
2005-12
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
A. Banerjee;S. Merugu;I. Dhillon;Joydeep Ghosh
通讯作者：
A. Banerjee;S. Merugu;I. Dhillon;Joydeep Ghosh