Does SLOPE outperform bridge regression?
Does SLOPE outperform bridge regression?
复制标题
SLOPE 是否优于桥回归？
DOI：
10.1093/imaiai/iaab025
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Maleki, Arian
中科院分区：
文献类型：
--
作者：
Wang, Shuaiwen;Weng, Haolei;Maleki, Arian
最近提出的斜率估计器已被证明在高维稀疏线性回归模型下自适应地获得最小极大估计率。这种极小极大最优性在稀疏程度、样本量和维度满足的情况下成立。本文刻画了互补性条件下斜率估计误差的特征，并对斜率估计器的性能提供了新的见解。我们首先推导了斜率的有限样本均方误差(MSE)的一个浓度不等式。MSE集中的数量具有复杂而隐含的形式。通过细致的数量分析，我们证明了在所有的斜率估计器中，LASSO对于在低噪声情况下估计不具有约束非零分量的稀疏参数向量是最优的。另一方面，在大噪声情况下，与桥回归(如岭估计)相比，斜率估计族是次优的。
A recently proposed SLOPE estimator has been shown to adaptively achieve the minimaxestimation rate under high-dimensional sparse linear regression models . Such minimax optimality holds in the regime where the sparsity level, sample sizeand dimensionsatisfy. In this paper, we characterize the estimation error of SLOPE under the complementary regime where bothandscale linearly with, and provide new insights into the performance of SLOPE estimators. We first derive a concentration inequality for the finite sample mean square error (MSE) of SLOPE. The quantity that MSE concentrates around takes a complicated and implicit form. With delicate analysis of the quantity, we prove that among all SLOPE estimators, LASSO is optimal for estimating-sparse parameter vectors that do not have tied nonzero components in the low noise scenario. On the other hand, in the large noise scenario, the family of SLOPE estimators are sub-optimal compared with bridge regression such as the Ridge estimator.
登录
查看更多内容
影响因子：
2.5
作者：
Christos Thrampoulidis;Ehsan Abbasi;B. Hassibi
通讯作者：
Christos Thrampoulidis;Ehsan Abbasi;B. Hassibi
影响因子：
2
作者：
Lihua Lei;P. Bickel;N. Karoui
通讯作者：
Lihua Lei;P. Bickel;N. Karoui
用于高维度快速参数调整的近似留一法
DOI：
--
发表时间：
2018
期刊：
International Conference on Machine Learning
影响因子：
--
作者：
Shuaiwen Wang;Wenda Zhou;Haihao Lu;A. Maleki;V. Mirrokni
通讯作者：
V. Mirrokni
过采样系统中 Lq 最小化的低噪声灵敏度分析
DOI：
--
发表时间：
2017
期刊：
Information and Inference A Journal of the IMA
影响因子：
--
作者：
Haolei Weng;A. Maleki
通讯作者：
A. Maleki
DOI：
--
发表时间：
2019
期刊：
IEEE International Symposium on Information Theory
影响因子：
--
作者：
Hu, Hong;Lu, Yue M.
通讯作者：
Lu, Yue M.