Deep Neural Networks Motivated by Partial Differential Equations
Deep Neural Networks Motivated by Partial Differential Equations
复制标题
由偏微分方程驱动的深度神经网络
DOI：
10.1007/s10851-019-00903-1
复制
发表时间：
2020
影响因子：
2
通讯作者：
Haber, Eldad
中科院分区：
文献类型：
--
作者：
Ruthotto, Lars;Haber, Eldad
偏微分方程（PDE）是许多物理现象建模不可或缺的，也常用于解决图像处理任务。在后一领域，基于偏微分方程的方法将图像数据解释为多元函数的离散化，并将图像处理算法的输出解释为某些偏微分方程的解。在无限维环境中提出图像处理问题，为它们的分析和解决提供了强有力的工具。在过去的几十年里，通过PDE透镜对经典图像处理问题的重新解释已经创造了多种著名的方法，这些方法有利于包括图像分割、去噪、配准和重建在内的广泛领域的任务。在本文中，我们建立了一类深度卷积神经网络（CNN）的新PDE解释，这些深度卷积神经网络通常用于从语音，图像和视频数据中学习。我们的解释包括卷积残差神经网络（ResNet），这是图像分类等任务中最有前途的方法之一，在著名的基准测试挑战中提高了最先进的性能。尽管最近取得了成功，但深度ResNets仍然面临着一些与其设计相关的关键挑战，巨大的计算成本和内存需求，以及缺乏对其推理的理解。在成熟的PDE理论的指导下，我们推导出三种新的ResNet架构，分为两类：抛物线和双曲CNN。我们展示了PDE理论如何为深度学习提供新的见解和算法，并使用数值实验展示了三种新CNN架构的竞争力。
Partial differential equations (PDEs) are indispensable for modeling many physical phenomena and also commonly used for solving image processing tasks. In the latter area, PDE-based approaches interpret image data as discretizations of multivariate functions and the output of image processing algorithms as solutions to certain PDEs. Posing image processing problems in the infinite-dimensional setting provides powerful tools for their analysis and solution. For the last few decades, the reinterpretation of classical image processing problems through the PDE lens has been creating multiple celebrated approaches that benefit a vast area of tasks including image segmentation, denoising, registration, and reconstruction. In this paper, we establish a new PDE interpretation of a class of deep convolutional neural networks (CNN) that are commonly used to learn from speech, image, and video data. Our interpretation includes convolution residual neural networks (ResNet), which are among the most promising approaches for tasks such as image classification having improved the state-of-the-art performance in prestigious benchmark challenges. Despite their recent successes, deep ResNets still face some critical challenges associated with their design, immense computational costs and memory requirements, and lack of understanding of their reasoning. Guided by well-established PDE theory, we derive three new ResNet architectures that fall into two new classes: parabolic and hyperbolic CNNs. We demonstrate how PDE theory can provide new insights and algorithms for deep learning and demonstrate the competitiveness of three new CNN architectures using numerical experiments.
登录
查看更多内容
跨尺度学习 - 卷积神经网络的多尺度方法
DOI：
--
发表时间：
2017
期刊：
arXiv.org
影响因子：
--
作者：
E. Haber;Lars Ruthotto;E. Holtham
通讯作者：
E. Holtham
波动现象：现代理论与应用
DOI：
--
发表时间：
1984
期刊：
影响因子：
--
作者：
C. Rogers;T. Moodie
通讯作者：
T. Moodie
用于训练深度神经网络的偏微分方程
DOI：
--
发表时间：
2017
期刊：
Asilomar Conference on Signals, Systems and Computers
影响因子：
--
作者：
P. Chaudhari;Adam M. Oberman;S. Osher;Stefano Soatto;G. Carlier
通讯作者：
G. Carlier
影响因子：
1.6
作者：
Combettes, Patrick L.;Pesquet, Jean-Christophe
通讯作者：
Pesquet, Jean-Christophe
可解释的多项式神经常微分方程。
DOI：
10.1063/5.0130803
发表时间：
2023
期刊：
Chaos (Woodbury, N.Y.)
影响因子：
--
作者：
Fronk,Colby;Petzold,Linda
通讯作者：
Petzold,Linda