Tighter Expected Generalization Error Bounds via Convexity of Information Measures
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
复制标题
通过信息度量的凸性来更严格的预期泛化误差界限
DOI：
10.1109/isit50566.2022.9834474
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Rodrigues, Miguel R.
中科院分区：
文献类型：
--
作者：
Aminian, Gholamali;Bu, Yuheng;Wornell, Gregory W.;Rodrigues, Miguel R.
泛化误差界是理解机器学习算法的关键。基于输出假设和每个输入训练样本之间的平均联合分布，给出了新的期望泛化误差上界。给出了基于不同信息度量的多个推广误差上界，包括Wasserstein距离、全变差距离、KL散度和Jensen-Shannon散度。由于信息度量的凸性，所提出的Wasserstein距离和总变差距离的界比文献中基于单个样本的相应界更紧。给出了一个例子，证明了所提出的推广误差界的紧密性。
Generalization error bounds are essential to understanding machine learning algorithms. This paper presents novel expected generalization error upper bounds based on the average joint distribution between the output hypothesis and each input training sample. Multiple generalization error upper bounds based on different information measures are provided, including Wasserstein distance, total variation distance, KL divergence, and Jensen-Shannon divergence. Due to the convexity of the information measures, the proposed bounds in terms of Wasserstein distance and total variation distance are shown to be tighter than their counterparts based on individual samples in the literature. An example is provided to demonstrate the tightness of the proposed generalization error bounds.
登录
查看更多内容
PAC-贝叶斯迷你教程：连续并集
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
T. Erven
通讯作者：
T. Erven
基于 Wasserstein 距离的泛化信息论观点
DOI：
10.1109/isit.2019.8849359
发表时间：
2019
期刊：
2019 IEEE International Symposium on Information Theory (ISIT
影响因子：
--
作者：
Wang, Hao;Diaz, Mario;Santos Filho, Jose Candido;Calmon, Flavio P.
通讯作者：
Calmon, Flavio P.
基于 Jensen-Shannon 信息的学习算法泛化误差表征
DOI：
--
发表时间：
2020
期刊：
Information Theory Workshop
影响因子：
--
作者：
Gholamali Aminian;L. Toni;M. Rodrigues
通讯作者：
M. Rodrigues
分布不匹配和模型错误指定下的学习
DOI：
--
发表时间：
2021
期刊：
International Symposium on Information Theory
影响因子：
--
作者：
Mohammad Saeed Masiha;A. Gohari;M. Yassaee;M. Aref
通讯作者：
M. Aref
基于 Rényi 散度的泛化误差界限
DOI：
--
发表时间：
2021
期刊：
Information Theory Workshop
影响因子：
--
作者：
Eeshan Modak;Himanshu Asnani;V. Prabhakaran
通讯作者：
V. Prabhakaran