Empirical risk minimization: probabilistic complexity and stepsize strategy
Empirical risk minimization: probabilistic complexity and stepsize strategy
复制标题
经验风险最小化：概率复杂性和步长策略
DOI：
10.1007/s10589-019-00080-2
复制
发表时间：
2019
影响因子：
2.2
通讯作者：
Ho C
中科院分区：
文献类型：
--
作者：
Ho C
经验风险最小化是标准凸优化的一种特殊形式。当使用一阶方法时，经验风险的Lipschitz常数在这些问题的收敛性分析和步长策略中起着至关重要的作用。我们推导出这样的Lipschitz常数使用随机矩阵理论的概率界。我们表明，平均而言，Lipschitz常数是有界的问题的维数的训练数据量的比率。我们使用我们的结果，以开发一个新的步长策略的一阶方法。所提出的算法，概率上限引导的步长策略，优于常规的步长策略，其性能有强有力的理论保证。
Empirical risk minimization is recognized as a special form in standard convex optimization. When using a first order method, the Lipschitz constant of the empirical risk plays a crucial role in the convergence analysis and stepsize strategies for these problems. We derive the probabilistic bounds for such Lipschitz constants using random matrix theory. We show that, on average, the Lipschitz constant is bounded by the ratio of the dimension of the problem to the amount of training data. We use our results to develop a new stepsize strategy for first order methods. The proposed algorithm, Probabilistic Upper-bound Guided stepsize strategy, outperforms the regular stepsize strategies with strong theoretical guarantee on its performance.
最小化不可微复合函数的有效信赖域算法
DOI：
--
发表时间：
1989
期刊：
影响因子：
--
作者：
Eiki Yamakawa;M. Fukushima
通讯作者：
M. Fukushima