Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms
复制标题
基于 Jensen-Shannon 信息的学习算法泛化误差表征
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
M. Rodrigues
中科院分区：
文献类型：
--
作者：
Gholamali Aminian;L. Toni;M. Rodrigues
概括误差范围对于理解机器学习模型的性能至关重要。在这项工作中，我们提出了一个新的基于信息理论的概括错误上限适用于监督学习方案。我们表明，我们的一般界限可以专门研究各种以前的范围。我们还表明，在某些条件下，我们的一般界限可以专门针对新的结合，涉及詹森 - 香农信息的随机变量建模训练样本集和另一个随机变量对假设进行建模。我们还证明，在某些条件下，我们的界限可能比基于信息的界限更紧。
Generalization error bounds are critical to understanding the performance of machine learning models. In this work, we propose a new information-theoretic based generalization error upper bound applicable to supervised learning scenarios. We show that our general bound can specialize in various previous bounds. We also show that our general bound can be specialized under some conditions to a new bound involving the Jensen-Shannon information between a random variable modelling the set of training samples and another random variable modelling the hypothesis. We also prove that our bound can be tighter than mutual information-based bounds under some conditions.
基于 Wasserstein 距离的泛化信息论观点
DOI：
10.1109/isit.2019.8849359
发表时间：
2019
期刊：
2019 IEEE International Symposium on Information Theory (ISIT
影响因子：
--
作者：
Wang, Hao;Diaz, Mario;Santos Filho, Jose Candido;Calmon, Flavio P.
通讯作者：
Calmon, Flavio P.