Approximate Leave-One-Out for Fast Parameter Tuning in High Dimensions
Approximate Leave-One-Out for Fast Parameter Tuning in High Dimensions
复制标题
用于高维度快速参数调整的近似留一法
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
V. Mirrokni
中科院分区：
文献类型：
--
作者：
Shuaiwen Wang;Wenda Zhou;Haihao Lu;A. Maleki;V. Mirrokni
考虑以下课程学习方案：$$ hat {oldsymbol {eta}}}：= argmin_ {oldsymbol {oldsymbol {eta}}; sum_ {j = 1}^ n ell（oldsymbol {oldsymbol {x} _j _j^ op op op oldsymbol {eta}; y_j） + lambda r（oldsymbol {eta}），qquadqquad（1） $$其中$ oldsymbol {x} _i在Mathbb {r}^p $和Mathbb {r}中的$ y_i中分别表示$ i^{ext {th}} $特征和响应变量。令$ ell $和$ r $为损失功能和正常制度，$ oldsymbol {eta} $表示未知的权重，而$ lambda $是正规化参数。在$ n $和$ p $都大的高维度中，找到$ lambda $的最佳选择是一个具有挑战性的问题。我们提出了两个框架，以获得对非平滑损失和正则化器的保留的交叉验证（LOOCV）风险的计算有效近似ALO。我们的两个框架基于（1）的原始和双重公式。我们证明了在平滑度条件下这两种方法的等效性。这种等价使我们能够在这种情况下证明这两种方法的准确性都是合理的。我们使用我们的方法来获取几个标准问题的风险估计，包括广义套索，核规范正规化和支持向量机器。我们从经验上证明了结果对非差异案例的有效性。
Consider the following class of learning schemes: $$hat{oldsymbol{eta}} := argmin_{oldsymbol{eta}};sum_{j=1}^n ell(oldsymbol{x}_j^ opoldsymbol{eta}; y_j) + lambda R(oldsymbol{eta}),qquadqquad (1) $$ where $oldsymbol{x}_i in mathbb{R}^p$ and $y_i in mathbb{R}$ denote the $i^{ ext{th}}$ feature and response variable respectively. Let $ell$ and $R$ be the loss function and regularizer, $oldsymbol{eta}$ denote the unknown weights, and $lambda$ be a regularization parameter. Finding the optimal choice of $lambda$ is a challenging problem in high-dimensional regimes where both $n$ and $p$ are large. We propose two frameworks to obtain a computationally efficient approximation ALO of the leave-one-out cross validation (LOOCV) risk for nonsmooth losses and regularizers. Our two frameworks are based on the primal and dual formulations of (1). We prove the equivalence of the two approaches under smoothness conditions. This equivalence enables us to justify the accuracy of both methods under such conditions. We use our approaches to obtain a risk estimate for several standard problems, including generalized LASSO, nuclear norm regularization, and support vector machines. We empirically demonstrate the effectiveness of our results for non-differentiable cases.
影响因子：
1.6
作者：
Amelunxen, Dennis;Lotz, Martin;Tropp, Joel A.
通讯作者：
Tropp, Joel A.