On the Estimation of alpha-Divergences
On the Estimation of alpha-Divergences
复制标题
关于 alpha 散度的估计
DOI：
--
复制
发表时间：
2011
期刊：
影响因子：
--
通讯作者：
J. Schneider
中科院分区：
文献类型：
--
作者：
B. Póczos;J. Schneider
我们提出了新的连续分布的非参数、相容的Renyi-α和Tsallis-α散度估计。给出两个独立且分布相同的样本，一个“幼稚”的方法将是简单地估计潜在密度，并将估计的密度插入相应的公式中。相反，我们提出的估计器完全避免了密度估计，只使用简单的k近邻统计量直接估计发散度。尽管如此，我们仍然能够证明估计量在某些条件下是一致的。我们还描述了如何将这些估计器应用于互信息，并通过数值实验证明了它们的有效性。
We propose new nonparametric, consistent Renyi-α and Tsallis-α divergence estimators for continuous distributions. Given two independent and identically distributed samples, a “naive” approach would be to simply estimate the underlying densities and plug the estimated densities into the corresponding formulas. Our proposed estimators, in contrast, avoid density estimation completely, estimating the divergences directly using only simple k-nearest-neighbor statistics. We are nonetheless able to prove that the estimators are consistent under certain conditions. We also describe how to apply these estimators to mutual information and demonstrate their efficiency via numerical experiments.