Generalised Pinsker Inequalities
Generalised Pinsker Inequalities
复制标题
广义平斯克不等式
DOI：
--
复制
发表时间：
2009
期刊：
影响因子：
--
通讯作者：
R. C. Williamson
中科院分区：
文献类型：
--
作者：
Mark D. Reid;R. C. Williamson
我们概括了经典的Pinsker不等式，其中涉及变分发散Kullback-Liebler分歧在两种方式：我们认为任意f-发散的地方KL分歧，我们假设知识的一个序列的值的广义变分发散。然后，我们开发了一个最好的可能的不等式，这种双重推广的情况。专门我们的结果，经典的情况下，提供了一个新的和紧密的明确的界限KL变分发散（解决问题的Vajda约40年前）。该解决方案依赖于通过积分表示利用学习问题的分歧和贝叶斯风险之间的联系。
We generalise the classical Pinsker inequality which relates variational divergence to Kullback-Liebler divergence in two ways: we consider arbitrary f-divergences in place of KL divergence, and we assume knowledge of a sequence of values of generalised variational divergences. We then develop a best possible inequality for this doubly generalised situation. Specialising our result to the classical case provides a new and tight explicit bound relating KL to variational divergence (solving a problem posed by Vajda some 40 years ago). The solution relies on exploiting a connection between divergences and the Bayes risk of a learning problem via an integral representation.