Fitting Very Flexible Models: Linear Regression With Large Numbers of Parameters
Fitting Very Flexible Models: Linear Regression With Large Numbers of Parameters
复制标题
拟合非常灵活的模型：具有大量参数的线性回归
DOI：
10.1088/1538-3873/ac20ac
复制
发表时间：
2021
影响因子：
3.5
通讯作者：
Villar, Soledad
中科院分区：
文献类型：
--
作者：
Hogg, David W.;Villar, Soledad
线性拟合有许多用途；我们在这里考虑数据的插值和去噪，当目标是拟合一组有噪声的数据点的平滑，灵活的函数时。研究者经常选择多项式基，或者傅里叶基，或者小波，或者其他同样普遍的方法。它们还选择一个顺序，或基函数的数量来拟合，并且（通常）进行某种正则化。我们讨论了如何用普通最小二乘及其扩展来完成这种基函数拟合。我们强调，选择远多于数据点的参数是有价值的，尽管民间规则与此相反：具有大量参数的适当正则化模型可以很好地泛化并对保留数据做出很好的预测；过度拟合（主要）不是有太多参数的问题。甚至可以取无穷个参数的极限，在这个极限上，如果基和正则化选择正确，最小二乘拟合成为高斯过程或核回归的平均值。我们推荐交叉验证作为一种很好的经验方法来选择模型（例如，设置参数的数量和正则化的形式），而叠刀重采样作为一种很好的经验方法来估计模型所做预测的不确定性。我们还给出了构建稳定计算实现的建议。
There are many uses for linear fitting; we consider here the interpolation and denoising of data, as when the goal is to fit a smooth, flexible function to a set of noisy data points. Investigators often choose a polynomial basis, or a Fourier basis, or wavelets, or something equally general. They also choose an order, or number of basis functions to fit, and (often) some kind of regularization. We discuss how this basis-function fitting is done, with ordinary least squares and extensions thereof. We emphasize that it can be valuable to choose far more parameters than data points, despite folk rules to the contrary: Suitably regularized models with enormous numbers of parameters generalize well and make good predictions for held-out data; over-fitting is not (mainly) a problem of having too many parameters. It is even possible to take the limit of infinite parameters, at which, if the basis and regularization are chosen correctly, the least-squares fit becomes the mean of a Gaussian process, or a kernel regression. We recommend cross-validation as a good empirical method for model selection (for example, setting the number of parameters and the form of the regularization), and jackknife resampling as a good empirical method for estimating the uncertainties of the predictions made by the model. We also give advice for building stable computational implementations.
登录
查看更多内容
DOI：
10.1137/20m1359912
发表时间：
2020
期刊：
SIAM J. Math. Data Sci.
影响因子：
--
作者：
Weilin Li
通讯作者：
Weilin Li
inv(A)*b 有多准确？
DOI：
--
发表时间：
2012
期刊：
ArXiv
影响因子：
--
作者：
Alex Druinsky;Sivan Toledo
通讯作者：
Sivan Toledo
影响因子：
3
作者：
Epstein, CL
通讯作者：
Epstein, CL
DOI：
10.1073/pnas.1907378117
发表时间：
2020-12-01
影响因子：
11.1
作者：
Bartlett, Peter L.;Long, Philip M.;Tsigler, Alexander
通讯作者：
Tsigler, Alexander
DOI：
10.1073/pnas.1903070116
发表时间：
2019-08-06
影响因子：
11.1
作者：
Belkin, Mikhail;Hsu, Daniel;Mandal, Soumik
通讯作者：
Mandal, Soumik