Neural-net-induced Gaussian process regression for function approximation and PDE solution
Neural-net-induced Gaussian process regression for function approximation and PDE solution
复制标题
用于函数逼近和 PDE 求解的神经网络诱导高斯过程回归
DOI：
10.1016/j.jcp.2019.01.045
复制
发表时间：
2018-06
影响因子：
4.1
通讯作者：
George Em Karniadakis
中科院分区：
文献类型：
--
作者：
Guofei Pang;Liu Yang;George Em Karniadakis
神经网络诱导高斯过程（NNGP）回归继承了深度神经网络（深度NN）的高表达性以及高斯过程（GP）的不确定性量化属性。我们将当前的NNGP推广为首先包含更多的超参数，然后通过最大似然估计训练模型。与以往的工作NNGP的目标分类，在这里，我们适用于广义NNGP函数逼近和求解偏微分方程（PDE）。具体来说，我们开发了一个分析迭代公式来计算由具有误差函数非线性的深度NN引起的GP的协方差函数。我们比较了广义NNGP的性能与GP和全连接NN的函数逼近和PDE解决方案。我们观察到，对于光滑函数，广义NNGP可以产生与GP相同的精度，而NNGP和GP都优于深度NN。对于非光滑函数，广义NNGP比GP好上级，比深度NN好或比深度NN好上级。
Neural-net-induced Gaussian process (NNGP) regression inherits both the high expressivity of deep neural networks (deep NNs) as well as the uncertainty quantification property of Gaussian processes (GPs). We generalize the current NNGP to first include a larger number of hyperparameters and subsequently train the model by maximum likelihood estimation. Unlike previous works on NNGP that targeted classification, here we apply the generalized NNGP to function approximation and to solving partial differential equations (PDEs). Specifically, we develop an analytical iteration formula to compute the covariance function of GP induced by deep NN with an error-function nonlinearity. We compare the performance of the generalized NNGP for function approximations and PDE solutions with those of GPs and fully-connected NNs. We observe that for smooth functions the generalized NNGP can yield the same order of accuracy with GP, while both NNGP and GP outperform deep NN. For non-smooth functions, the generalized NNGP is superior to GP and comparable or superior to deep NN.
登录
查看更多内容
使用多保真贝叶斯优化从现场数据发现平流弥散方程的可变分数阶
影响因子：
4.1
作者：
Guofei Pang;Paris Perdikaris;Wei Cai;George Em Karniadakis
通讯作者：
George Em Karniadakis
DOI：
10.1007/978-1-4612-0745-0
发表时间：
1995
期刊：
--
影响因子：
--
作者：
Radford M. Neal
通讯作者：
Radford M. Neal
DOI：
--
发表时间：
2016
期刊：
--
影响因子：
--
作者：
M. Raissi;P. Perdikaris;G. Karniadakis
通讯作者：
M. Raissi;P. Perdikaris;G. Karniadakis
DOI：
--
发表时间：
2013-10
期刊：
--
影响因子：
--
作者：
Loic Le Gratiet
通讯作者：
Loic Le Gratiet
DOI：
--
发表时间：
2017-07
期刊：
ArXiv
影响因子：
--
作者：
Le Song;S. Vempala;John Wilmes;Bo Xie
通讯作者：
Le Song;S. Vempala;John Wilmes;Bo Xie