A Hamilton-Jacobi-based proximal operator.
A Hamilton-Jacobi-based proximal operator.
复制标题
DOI：
10.1073/pnas.2220469120
复制
发表时间：
2023-04-04
影响因子：
11.1
通讯作者：
Fung, Samy Wu
中科院分区：
文献类型：
--
作者：
Osher, Stanley;Heaton, Howard;Fung, Samy Wu
许多目标函数不承认其邻近算子的显式公式。此外，这些算子通常不能使用精确的梯度来估计（例如，当目标可经由Oracle访问时）。在这项工作中，我们给出了一个公式，准确地近似近端运营商只使用（可能有噪声）的目标函数样本。一阶优化算法在当今被广泛使用。这些算法中的两个标准构建块是邻近算子（邻近）和梯度。虽然梯度可以计算的功能，广泛的阵列，明确的近似公式是已知的，只有有限的功能类。我们提供了一个算法，HJ近端，准确地近似这样的近端。这是来自于一个集合之间的关系，近似，莫罗信封，汉密尔顿-雅可比（HJ）方程，热方程，和蒙特卡洛采样。特别地，HJ-Prox平滑地近似Moreau包络及其梯度。平滑度可以被调整以充当去噪器。我们的方法适用于即使功能只能访问（可能是嘈杂的）黑盒样本。我们通过几个例子证明了HJ-Prox在数值上是有效的。
Many objective functions do not admit explicit formulas for their proximal operators. Moreover, these operators often cannot be estimated using exact gradients (e.g., when objectives are accessible via an oracle). In this work, we give a formula for accurately approximating proximal operators using only (possibly noisy) objective function samples. First-order optimization algorithms are widely used today. Two standard building blocks in these algorithms are proximal operators (proximals) and gradients. Although gradients can be computed for a wide array of functions, explicit proximal formulas are known for only limited classes of functions. We provide an algorithm, HJ-Prox, for accurately approximating such proximals. This is derived from a collection of relations between proximals, Moreau envelopes, Hamilton–Jacobi (HJ) equations, heat equations, and Monte Carlo sampling. In particular, HJ-Prox smoothly approximates the Moreau envelope and its gradient. The smoothness can be adjusted to act as a denoiser. Our approach applies even when functions are accessible only by (possibly noisy) black box samples. We show that HJ-Prox is effective numerically via several examples.
登录
查看更多内容
影响因子：
2.7
作者：
ECKSTEIN, J;BERTSEKAS, DP
通讯作者：
BERTSEKAS, DP
影响因子：
6.1
作者：
KLOEK, T;VANDIJK, HK
通讯作者：
VANDIJK, HK
影响因子：
2.1
作者：
Beck, Amir;Teboulle, Marc
通讯作者：
Teboulle, Marc
DOI：
10.1088/1742-5468/ab39d9
发表时间：
2019-12-01
影响因子：
2.4
作者：
Chaudhari, Pratik;Choromanska, Anna;Zecchina, Riccardo
通讯作者：
Zecchina, Riccardo
影响因子：
3.1
作者：
Berahas, Albert S.;Byrd, Richard H.;Nocedal, Jorge
通讯作者：
Nocedal, Jorge