Generalization bounds of ERM algorithm with Markov chain samples
Generalization bounds of ERM algorithm with Markov chain samples
复制标题
马尔可夫链样本的 ERM 算法的泛化界限
DOI：
10.1007/s10255-011-0096-4
复制
发表时间：
2011-07
影响因子：
0.8
通讯作者：
Xu Jie
中科院分区：
文献类型：
--
作者：
Zou Bin;Xu Zong-ben;Xu Jie
机器学习的主要目标之一是研究学习算法的泛化性能。以往描述学习算法泛化能力的主要结果通常是基于独立同分布的(I.I.D.)样本。然而，无论是在理论上还是在实际应用中，独立性都是一个非常严格的概念。在这篇文章中，我们通过建立一致遍历马尔可夫链样本的经验风险最小化(ERM)算法的相对一致收敛速度的界，大大超越了这一经典框架。我们不仅得到了ERM算法的广义界，而且证明了具有一致遍历马氏链样本的ERM算法是一致的。所建立的理论为ERM型学习算法的应用奠定了基础。
One of the main goals of machine learning is to study the generalization performance of learning algorithms. The previous main results describing the generalization ability of learning algorithms are usually based on independent and identically distributed (i.i.d.) samples. However, independence is a very restrictive concept for both theory and real-world applications. In this paper we go far beyond this classical framework by establishing the bounds on the rate of relative uniform convergence for the Empirical Risk Minimization (ERM) algorithm with uniformly ergodic Markov chain samples. We not only obtain generalization bounds of ERM algorithm, but also show that the ERM algorithm with uniformly ergodic Markov chain samples is consistent. The established theory underlies application of ERM type of learning algorithms.
登录
查看更多内容
V-几何遍历马尔可夫链 ERM 算法的泛化界限
影响因子：
1.7
作者：
Zou, Bin;Xu, Zongben;Chang, Xiangyu
通讯作者：
Chang, Xiangyu
DOI：
10.1007/978-1-4471-3267-7
发表时间：
1993
期刊：
--
影响因子：
--
作者：
S. Meyn;R. Tweedie
通讯作者：
S. Meyn;R. Tweedie
DOI：
10.1017/cbo9780511618796.009
发表时间：
2007
期刊：
--
影响因子：
--
作者：
F. Cucker;Ding-Xuan Zhou
通讯作者：
F. Cucker;Ding-Xuan Zhou
指数强混合序列的正则化回归的学习率
影响因子：
0.9
作者：
Xu, Yong-Li;Chen, Di-Rong
通讯作者：
Chen, Di-Rong
影响因子：
3
作者：
R. DeVore;G. Kerkyacharian;D. Picard;V. Temlyakov
通讯作者：
R. DeVore;G. Kerkyacharian;D. Picard;V. Temlyakov