Efficient kernel-based variable selection with sparsistency
Efficient kernel-based variable selection with sparsistency
复制标题
具有稀疏性的高效基于内核的变量选择
DOI：
10.5705/ss.202019.0401
复制
发表时间：
2021
影响因子：
1.4
通讯作者：
Shaogao Lv
中科院分区：
文献类型：
--
作者：
Xin He;Junhui Wang;Shaogao Lv
稀疏学习是高维数据分析的核心，各种方法已经被开发出来。理想情况下，稀疏学习方法应该在方法上灵活，计算效率高，并提供理论保证。然而，大多数现有的方法需要折衷其中的一些属性才能达到其他的属性。我们提出了一种三步稀疏学习方法，包括对回归函数及其梯度函数的基于核的估计，以及硬阈值。它的主要优点是不包含明确的模型假设，允许普遍的预报器效应，允许高效的计算，并获得理想的渐近稀疏一致性。该方法适用于任何具有不同核函数的再生核Hilbert空间(RKHS)，其计算代价在数据维上是线性的。对于一般的RKHS，在较温和的条件下证明了该方法的渐近稀疏性。数值实验结果表明，该方法在《统计学报》：预印本DOI：10.5705/ss.202019.0401这两个方面都优于其竞争对手
Sparse learning is central to high-dimensional data analysis, and various methods have been developed. Ideally, a sparse learning method should be methodologically flexible, computationally efficient, and provide a theoretical guarantee. However, most existing methods need to compromise some of these properties in order to attain the others. We develop a three-step sparse learning method, involving a kernel-based estimation of the regression function and its gradient functions, as well as a hard thresholding. Its key advantages are that it includes no explicit model assumption, admits general predictor effects, allows efficient computation, and attains desirable asymptotic sparsistency. The proposed method can be adapted to any reproducing kernel Hilbert space (RKHS) with different kernel functions, and its computational cost is only linear in the data dimension. The asymptotic sparsistency of the proposed method is established for general RKHS under mild conditions. The results of numerical experiments show that the proposed method compares favorably with its competitors in both Statistica Sinica: Preprint doi:10.5705/ss.202019.0401
登录
查看更多内容
影响因子：
4.5
作者：
Huang J;Horowitz JL;Wei F
通讯作者：
Wei F
DOI：
--
发表时间：
2016
期刊：
Journal of machine learning research : JMLR
影响因子：
--
作者：
Chong Zhang;Yufeng Liu;Yichao Wu
通讯作者：
Chong Zhang;Yufeng Liu;Yichao Wu
影响因子：
3.7
作者：
Fan J;Feng Y;Song R
通讯作者：
Song R
DOI：
10.1214/16-aos1472
发表时间：
2015-01
期刊：
ArXiv
影响因子：
--
作者：
Yun Yang;Mert Pilanci;M. Wainwright
通讯作者：
Yun Yang;Mert Pilanci;M. Wainwright
DOI：
--
发表时间：
2008-11
期刊：
--
影响因子：
--
作者：
P. Bickel;P. Bühlmann;Q. Yao;R. Samworth;P. Hall;D. Titterington;Jing-Hao Xue;C. Anagnostopoulos-
通讯作者：
P. Bickel;P. Bühlmann;Q. Yao;R. Samworth;P. Hall;D. Titterington;Jing-Hao Xue;C. Anagnostopoulos-