Fast and scalable computation of shape-morphing nonlinear solutions with application to evolutional neural networks
Fast and scalable computation of shape-morphing nonlinear solutions with application to evolutional neural networks
复制标题
快速且可扩展地计算形状变形非线性解决方案并应用于进化神经网络
DOI：
10.1016/j.jcp.2023.112649
复制
发表时间：
2024
影响因子：
4.1
通讯作者：
Farazmand, Mohammad
中科院分区：
文献类型：
--
作者：
Anderson, William;Farazmand, Mohammad
我们开发了计算降阶非线性解(RON)的快速且可扩展的方法。RONS是最近提出的一种用于时变偏微分方程组的降阶建模的框架，其中模式非线性地依赖于一组时变参数。RONS使用一组常微分方程组(ODE)作为参数，以最优地进化模式的形状以适应PDE的解。这种方法在处理具有挑战性的问题时已经被证明是非常有效的，例如对流主导的流动和高维偏微分方程组。然而，随着参数数量的增加，积分RONS方程甚至它的形成在计算上变得困难起来。在这里，我们开发了三种不同的方法来解决这些计算瓶颈：符号RON、搭配RON和正则化RON。我们通过高维Fokker-Planck方程和Kuramoto-Sivashinsky方程两个例子验证了这些方法的有效性。在这两种情况下，我们观察到所提出的方法在加速比和精度方面都有几个数量级的提升。我们提出的方法将RONS的适用范围扩展到降阶建模之外，使其能够用于线性和非线性偏微分方程组的精确数值解。最后，作为RONS的一个特例，我们讨论了它在偏微分方程解被神经网络逼近的问题中的应用，其中时间相关的参数是网络的权值和偏差。RONS方程规定了网络参数的最佳演化，而不需要任何训练。
We develop fast and scalable methods for computing reduced-order nonlinear solutions (RONS). RONS was recently proposed as a framework for reduced-order modeling of time-dependent partial differential equations (PDEs), where the modes depend nonlinearly on a set of time-varying parameters. RONS uses a set of ordinary differential equations (ODEs) for the parameters to optimally evolve the shape of the modes to adapt to the PDE's solution. This method has already proven extremely effective in tackling challenging problems such as advection-dominated flows and high-dimensional PDEs. However, as the number of parameters grow, integrating the RONS equation and even its formation become computationally prohibitive. Here, we develop three separate methods to address these computational bottlenecks: symbolic RONS, collocation RONS and regularized RONS. We demonstrate the efficacy of these methods on two examples: Fokker–Planck equation in high dimensions and the Kuramoto–Sivashinsky equation. In both cases, we observe that the proposed methods lead to several orders of magnitude in speedup and accuracy. Our proposed methods extend the applicability of RONS beyond reduced-order modeling by making it possible to use RONS for accurate numerical solution of linear and nonlinear PDEs. Finally, as a special case of RONS, we discuss its application to problems where the PDE's solution is approximated by a neural network, with the time-dependent parameters being the weights and biases of the network. The RONS equations dictate the optimal evolution of the network's parameters without requiring any training.
登录
查看更多内容
DOI：
--
发表时间：
2007
期刊：
影响因子：
--
作者：
F. Bauer;M. Reiß
通讯作者：
M. Reiß
影响因子：
5.6
作者：
W. Anderson;M. Farazmand
通讯作者：
M. Farazmand
进化系统中的计算敏感性：实时降阶建模策略
DOI：
10.1137/20m1388565
发表时间：
2020
期刊：
SIAM J. Sci. Comput.
影响因子：
--
作者：
M. Donello;M. Carpenter;H. Babaee
通讯作者：
H. Babaee
DOI：
10.1016/j.jcp.2023.112588
发表时间：
2022-03
期刊：
J. Comput. Phys.
影响因子：
--
作者：
Joan Bruna;B. Peherstorfer;E. Vanden-Eijnden
通讯作者：
Joan Bruna;B. Peherstorfer;E. Vanden-Eijnden
牛顿法的混沌行为
DOI：
--
发表时间：
1992
期刊：
影响因子：
--
作者：
P. S. Keller
通讯作者：
P. S. Keller