A direct approach for function approximation on data defined manifolds
A direct approach for function approximation on data defined manifolds
复制标题
数据定义流形上函数逼近的直接方法
DOI：
10.1016/j.neunet.2020.08.018
复制
发表时间：
2020
期刊：
影响因子：
7.8
通讯作者：
Mhaskar, H.N.
中科院分区：
文献类型：
--
作者：
Mhaskar, H.N.
在许多有关深度网络函数逼近的文献中，假设函数是在某些已知域（例如立方体或球体）上定义的。在实践中，这些领域的数据可能并不密集，因此，近似理论的结果被认为过于保守。在流形学习中，人们假设数据是从未知的流形中采样的；即流形是由数据本身定义的。这个未知流形上的函数逼近是一个两阶段的过程：首先，使用图拉普拉斯算子来逼近这个流形上的拉普拉斯-贝尔特拉米算子（及其特征分解），接下来，使用特征函数来逼近目标函数。或者，首先估计流形上的一些图集，然后使用基于局部坐标图的局部逼近技术。在本文中，我们提出了一种更直接的方法来对未知的数据定义流形进行函数逼近，无需计算流形的某些算子或图集的特征分解，也无需进行任何经典意义上的训练。我们的结构是通用的；即，除了流形上的连续性之外，不需要目标函数的任何先验知识。我们估计近似程度。对于平滑函数，估计不会受到所谓的饱和现象的影响。我们通过称为错误良好传播的属性演示了如何使用深度网络提升结果以进行函数逼近，其中每个通道在可能未知的流形上评估高斯网络。
In much of the literature on function approximation by deep networks, the function is assumed to be defined on some known domain, such as a cube or a sphere. In practice, the data might not be dense on these domains, and therefore, the approximation theory results are observed to be too conservative. In manifold learning, one assumes instead that the data is sampled from an unknown manifold; i.e., the manifold is defined by the data itself. Function approximation on this unknown manifold is then a two stage procedure: first, one approximates the Laplace–Beltrami operator (and its eigen-decomposition) on this manifold using a graph Laplacian, and next, approximates the target function using the eigen-functions. Alternatively, one estimates first some atlas on the manifold and then uses local approximation techniques based on the local coordinate charts.In this paper, we propose a more direct approach to function approximation onunknown, data defined manifolds without computing the eigen-decomposition of some operator or an atlas for the manifold, and without any kind of training in the classical sense. Our constructions are universal; i.e., do not require the knowledge of any prior on the target function other than continuity on the manifold. We estimate the degree of approximation. For smooth functions, the estimates do not suffer from the so-called saturation phenomenon. We demonstrate via a property called good propagation of errors how the results can be lifted for function approximation using deep networks where each channel evaluates a Gaussian network on a possibly unknown manifold.
登录
查看更多内容
深度网络的大几何组织
DOI：
--
发表时间：
2015
期刊：
arXiv.org
影响因子：
--
作者：
A. Cloninger;R. Coifman;Nicholas Downing;H. Krumholz
通讯作者：
H. Krumholz
使用扩散框架本地学习生物医学数据
DOI：
10.1089/cmb.2012.0187
发表时间：
2012
期刊：
Journal of computational biology : a journal of computational molecular cell biology
影响因子：
--
作者：
M. Ehler;F. Filbir;H. N. Mhaskar
通讯作者：
H. N. Mhaskar
影响因子：
7.8
作者：
Kim, Yongdai;Ohn, Ilsang;Kim, Dongha
通讯作者：
Kim, Dongha
DOI：
10.3389/fams.2020.00031
发表时间：
2019-01
期刊：
--
影响因子：
--
作者：
H. Mhaskar;A. Cloninger;Xiuyuan Cheng
通讯作者：
H. Mhaskar;A. Cloninger;Xiuyuan Cheng
流形上函数逼近的 Eignet
DOI：
10.1016/j.acha.2009.08.006
发表时间：
2009
期刊：
ArXiv
影响因子：
--
作者：
H. Mhaskar
通讯作者：
H. Mhaskar