Mutual Information as a Function of Moments
Mutual Information as a Function of Moments
复制标题
互信息作为矩的函数
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
F. Calmon
中科院分区：
文献类型：
--
作者：
Wael Alghamdi;F. Calmon
我们引入了基于估计理论和信息论之间的联系的互信息估计器。通过将最小均方误差估计器的多项式近似与 I-MMSE 关系相结合，我们得出了互信息 I(X; Y) 的新公式，该公式仅是 X 的边缘分布、Y 的矩以及给定 X 的 Y 的条件矩的函数。通过样本矩估计这个新公式中的矩提供了互信息的估计器，该互信息的估计器捕获所需的属性，例如在仿射变换下保持不变。
We introduce a mutual information estimator based on the connection between estimation theory and information theory. By combining a polynomial approximation of the minimum mean-squared error estimator with the I-MMSE relationship, we derive a new formula for the mutual information I(X; Y) that is a function of only the marginal distribution of X, the moments of Y, and the conditional moments of Y given X. Estimating the moments in this new formula by sample moments provides an estimator of mutual information that captures desirable properties, such as being invariant under affine transformations.