Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
复制标题
偏差校正正则化核网络的分布式回归学习理论
DOI：
--
复制
发表时间：
2017-08
影响因子：
6
通讯作者：
Wu Qiang
中科院分区：
文献类型：
--
作者：
Guo Zheng-Chu;Shi Lei;Wu Qiang
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，在这两种情况下，可以达到最佳的学习率。
Distributed learning is an effective way to analyze big data. In distributed regression, a typical approach is to divide the big data into multiple blocks, apply a base regression algorithm on each of them, and then simply average the output functions learnt from these blocks. Since the average process will decrease the variance, not the bias, bias correction is expected to improve the learning performance if the base regression algorithm is a biased one. Regularization kernel network is an effective and widely used method for nonlinear regression analysis. In this paper we will investigate a bias corrected version of regularization kernel network. We derive the error bounds when it is applied to a single data set and when it is applied as a base algorithm in distributed regression. We show that, under certain appropriate conditions, the optimal learning rates can be reached in both situations.
登录
查看更多内容
影响因子：
2.5
作者：
Hongwei Sun;Qiang Wu
通讯作者：
Hongwei Sun;Qiang Wu
影响因子：
2.9
作者：
Tong Zhang
通讯作者：
Tong Zhang
DOI：
10.1090/s0002-9947-1950-0051437-7
发表时间：
1950-01-01
影响因子：
1.3
作者：
ARONSZAJN, N
通讯作者：
ARONSZAJN, N
DOI：
10.21236/ada456685
发表时间：
2006-09
期刊：
--
影响因子：
--
作者：
A. Caponnetto
通讯作者：
A. Caponnetto
DOI：
10.2307/2938687
发表时间：
1990-03
期刊：
--
影响因子：
--
作者：
G. Wahba
通讯作者：
G. Wahba