On constrained and regularized high-dimensional regression.
On constrained and regularized high-dimensional regression.
复制标题
在受约束和正规化的高维回归上。
DOI：
10.1007/s10463-012-0396-3
复制
发表时间：
2013-10
影响因子：
1
通讯作者：
Zhou, Hui
中科院分区：
文献类型：
--
作者：
Shen, Xiaotong;Pan, Wei;Zhu, Yunzhang;Zhou, Hui
关键词：
高维特征选择对于在估计中寻求简约模型变得越来越重要。对于选择一致性，我们推导出一个充分必要条件，制定的概念上的分离度。最小分离度是任何方法保持选择一致性所必需的。在略高于最小分离度的水平上，通过约束L0方法及其计算代理-约束截断L1方法实现选择一致性。这允许在样本大小中具有指数级的多个特征。换句话说，这些方法在特征选择方面优于任何选择方法。相反，它们的正则化对应物-L0正则化和截断L1正则化方法在稍微更强的假设下实现了这一点。更重要的是，通过这种选择实现了更清晰的参数估计/预测，从而导致极大极小参数估计。否则，这是不可能的，在没有一个很好的选择方法进行高维分析。
High-dimensional feature selection has become increasingly crucial for seeking parsimonious models in estimation. For selection consistency, we derive one necessary and sufficient condition formulated on the notion of degree-of-separation. The minimal degree of separation is necessary for any method to be selection consistent. At a level slightly higher than the minimal degree of separation, selection consistency is achieved by a constrained L0-method and its computational surrogate–the constrained truncated L1-method. This permits up to exponentially many features in the sample size. In other words, these methods are optimal in feature selection against any selection method. In contrast, their regularization counterparts–the L0-regularization and truncated L1-regularization methods enable so under slightly stronger assumptions. More importantly, sharper parameter estimation/prediction is realized through such selection, leading to minimax parameter estimation. This, otherwise, is impossible in absence of a good selection method for high-dimensional analysis.
登录
查看更多内容
影响因子：
4.5
作者：
Zhang, Cun-Hui
通讯作者：
Zhang, Cun-Hui
影响因子：
2.5
作者：
Wainwright, Martin J.
通讯作者：
Wainwright, Martin J.
影响因子：
2.5
作者：
Yang, YH;Barron, AR
通讯作者：
Barron, AR
影响因子：
4.5
作者：
Zou, Hui;Li, Runze
通讯作者：
Li, Runze
影响因子：
2.7
作者：
Chen, Jiahua;Chen, Zehua
通讯作者：
Chen, Zehua