STRONG ORACLE OPTIMALITY OF FOLDED CONCAVE PENALIZED ESTIMATION.
STRONG ORACLE OPTIMALITY OF FOLDED CONCAVE PENALIZED ESTIMATION.
复制标题
DOI：
10.1214/13-aos1198
复制
发表时间：
2014-06
影响因子：
4.5
通讯作者：
Zou H
中科院分区：
文献类型：
--
作者：
Fan J;Xue L;Zou H
折叠凹惩罚方法在高维稀疏估计中具有很强的预言性质。然而，折叠凹惩罚问题通常有多个局部解，并且仅对其中一个未知的局部解建立预言性质。一个具有挑战性的基本问题仍然是，它是不清楚的局部最优计算的一个给定的优化算法具有良好的理论性质。为了弥补这一重要的理论差距，在十多年中，我们提供了一个统一的理论，明确地表明如何通过局部线性近似算法获得的甲骨文解决方案。对于一个折叠凹惩罚估计问题，证明了只要问题是局部化的，并且oracle估计是良好的，我们就可以利用一步局部线性逼近得到oracle估计.此外，一旦获得预言估计量，局部线性近似算法收敛，即它在下一次迭代中产生相同的估计量。一般的理论证明，通过使用四个经典的稀疏估计问题，即，稀疏线性回归、稀疏逻辑回归、稀疏精度矩阵估计和稀疏分位数回归。
Folded concave penalization methods have been shown to enjoy the strong oracle property for high-dimensional sparse estimation. However, a folded concave penalization problem usually has multiple local solutions and the oracle property is established only for one of the unknown local solutions. A challenging fundamental issue still remains that it is not clear whether the local optimum computed by a given optimization algorithm possesses those nice theoretical properties. To close this important theoretical gap in over a decade, we provide a unified theory to show explicitly how to obtain the oracle solution via the local linear approximation algorithm. For a folded concave penalized estimation problem, we show that as long as the problem is localizable and the oracle estimator is well behaved, we can obtain the oracle estimator by using the one-step local linear approximation. In addition, once the oracle estimator is obtained, the local linear approximation algorithm converges, namely it produces the same estimator in the next iteration. The general theory is demonstrated by using four classical sparse estimation problems, i.e., sparse linear regression, sparse logistic regression, sparse precision matrix estimation and sparse quantile regression.
登录
查看更多内容
影响因子：
4.5
作者：
Fan, JQ;Peng, H
通讯作者：
Peng, H
影响因子：
3.7
作者：
Mazumder R;Friedman JH;Hastie T
通讯作者：
Hastie T
影响因子：
4.5
作者：
Belloni, Alexandre;Chernozhukov, Victor
通讯作者：
Chernozhukov, Victor
影响因子：
4.5
作者：
Bradic J;Fan J;Jiang J
通讯作者：
Jiang J
DOI：
10.1198/016214501753208942
发表时间：
2001-09-01
影响因子：
3.7
作者：
Antoniadis, A;Fan, JQ
通讯作者：
Fan, JQ