Generalization error of minimum weighted norm and kernel interpolation
Generalization error of minimum weighted norm and kernel interpolation
复制标题
最小加权范数和核插值的泛化误差
DOI：
10.1137/20m1359912
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Weilin Li
中科院分区：
文献类型：
--
作者：
Weilin Li
我们研究了插值指定数据点的函数的泛化误差，并通过最小化加权范数来选择。在自然条件和一般条件下，我们证明了插值量及其泛化误差随着参数数目的增加而收敛，并且证明了极限插值量属于可复制核Hilbert空间。这严格地建立了最小加权范数插值的隐式偏差，并解释了为什么范数最小化可能受益于过度参数化。作为该理论的特例，我们研究了三角多项式和球谐插值。我们的方法是从确定性和近似理论的观点出发，而不是从统计或随机矩阵的观点出发。
We study the generalization error of functions that interpolate prescribed data points and are selected by minimizing a weighted norm. Under natural and general conditions, we prove that both the interpolants and their generalization errors converge as the number of parameters grow, and the limiting interpolant belongs to a reproducing kernel Hilbert space. This rigorously establishes an implicit bias of minimum weighted norm interpolation and explains why norm minimization may benefit from over-parameterization. As special cases of this theory, we study interpolation by trigonometric polynomials and spherical harmonics. Our approach is from a deterministic and approximation theory viewpoint, as opposed a statistical or random matrix one.
DOI：
--
发表时间：
2018-06
期刊：
ArXiv
影响因子：
--
作者：
M. Belkin;A. Rakhlin;A. Tsybakov
通讯作者：
M. Belkin;A. Rakhlin;A. Tsybakov
影响因子：
3
作者：
Song Mei;A. Montanari
通讯作者：
Song Mei;A. Montanari
DOI：
10.1073/pnas.1903070116
发表时间：
2019-08-06
影响因子：
11.1
作者：
Belkin, Mikhail;Hsu, Daniel;Mandal, Soumik
通讯作者：
Mandal, Soumik