Wasserstein-Type Gradient Flow via Propagation by Chaos for a Continuous Formulation of a Shallow Neural Network

通过混沌传播的 Wasserstein 型梯度流用于连续制定浅层神经网络

基本信息

  • 批准号:
    2879236
  • 负责人:
  • 金额:
    --
  • 依托单位:
  • 依托单位国家:
    英国
  • 项目类别:
    Studentship
  • 财政年份:
    2023
  • 资助国家:
    英国
  • 起止时间:
    2023 至 无数据
  • 项目状态:
    未结题

项目摘要

Scientific disciplines such as statistics, data analysis and artificial intelligence have witnessed a sudden surge of progress and popularity during the last few decades. This growth can be attributed to the discovery of the machine learning optimization framework, which is a simple, scalable and parameterizable method of interpolating data. Its applications span a wide area of industry including finance, computer programming, 3D graphics, data analysis, health care, epidemiology, law, urban study, animal behaviour and many more. Even though almost everyone is aware that these algorithms are becoming more and more intertwined and ubiquitous in our daily life, rather counterintuitively, we have yet to develop a satisfactory mathematical model to describe the behaviour of these machines and are still at the early stages of research. This is reflected in the fact we call these algorithms "black boxes".It is therefore imperative that we research the machine learning framework and the gradient descent algorithm. To optimize the performance and efficiency of these machines, we must gain an understanding of how they work internally. This will allow us to adjust these machines to produce better results with less computational resources and data.We focus on the specific problem of approximating a dataset with a single layer neural network with respect to the mean square error and some regularization by means of the gradient descent algorithm. A single layer neural network is comprised of finite nodes, each parameterised by a parameter and a weight. Today, one of the most widely used mathematical frameworks to analyse this problem is to employ a mean-field description of the single layer neural network and to investigate the well-posedness and properties of the gradient flow with respect to the square Wasserstein metric. However, this representation contains redundancy, in the sense that the neural network is invariant to the variance of the weight of a node. There is much evidence that suggests that the variance in the weight of a node will monotonically decrease during the gradient descent algorithm. In particular an initial zero variance in the weight parameter will be propagated throughout the entire gradient flow, that is we end up with a curve of so-called Young measures.The aim of this project is to establish a rigorous mathematical justification to prove the stated conjecture. Moreover, this new framework may provide us with the missing tools to determine quantitative convergence bounds or properties of the asymptotic limit of the gradient descent algorithm, both of which are still poorly understood. Additionally, this framework gives us the unique opportunity to also analyse the properties in evolution and regularity of the weights of the single layer neural network expressed as a function of the parameters.The project is novel, in the sense that there are no known sources that study the geometry of Young measures with respect to the gradient descent equation. Furthermore, this research will give us more insight in the geometry of mean-field solutions to the gradient flow equation.
在过去的几十年里,统计学、数据分析和人工智能等科学学科突飞猛进,广受欢迎。这种增长可以归因于机器学习优化框架的发现,这是一种简单,可扩展和可参数化的插值数据方法。它的应用跨越了广泛的行业领域,包括金融、计算机编程、3D图形、数据分析、卫生保健、流行病学、法律、城市研究、动物行为等等。尽管几乎每个人都意识到这些算法在我们的日常生活中变得越来越交织在一起,无处不在,但与直觉相反,我们还没有建立一个令人满意的数学模型来描述这些机器的行为,而且仍处于研究的早期阶段。这反映在我们称这些算法为“黑匣子”的事实中。因此,我们有必要研究机器学习框架和梯度下降算法。为了优化这些机器的性能和效率,我们必须了解它们的内部工作原理。这将使我们能够调整这些机器,以更少的计算资源和数据产生更好的结果。我们重点研究了用单层神经网络对数据集的均方误差和一些正则化进行逼近的具体问题,并采用梯度下降算法。单层神经网络由有限个节点组成,每个节点由参数和权值参数化。今天,用于分析该问题的最广泛使用的数学框架之一是采用单层神经网络的平均场描述,并研究梯度流相对于平方Wasserstein度量的适定性和性质。然而,这种表示包含冗余,因为神经网络对节点权重的方差是不变的。有大量证据表明,在梯度下降算法中,节点权值的方差会单调减小。特别地,权重参数的初始零方差将在整个梯度流中传播,也就是说,我们最终得到了所谓的杨氏测量曲线。这个项目的目的是建立一个严格的数学证明来证明所陈述的猜想。此外,这个新的框架可能为我们提供了缺失的工具来确定梯度下降算法的定量收敛界或渐近极限的性质,这两者仍然知之甚少。此外,该框架还为我们提供了独特的机会来分析以参数函数表示的单层神经网络权重的演化特性和规律性。这个项目是新颖的,因为目前还没有已知的资料来研究杨氏测度与梯度下降方程的几何关系。此外,这项研究将使我们对梯度流动方程的平均场解的几何形状有更深入的了解。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

其他文献

吉治仁志 他: "トランスジェニックマウスによるTIMP-1の線維化促進機序"最新医学. 55. 1781-1787 (2000)
Hitoshi Yoshiji 等:“转基因小鼠中 TIMP-1 的促纤维化机制”现代医学 55. 1781-1787 (2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
LiDAR Implementations for Autonomous Vehicle Applications
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
生命分子工学・海洋生命工学研究室
生物分子工程/海洋生物技术实验室
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
吉治仁志 他: "イラスト医学&サイエンスシリーズ血管の分子医学"羊土社(渋谷正史編). 125 (2000)
Hitoshi Yoshiji 等人:“血管医学与科学系列分子医学图解”Yodosha(涉谷正志编辑)125(2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
Effect of manidipine hydrochloride,a calcium antagonist,on isoproterenol-induced left ventricular hypertrophy: "Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,K.,Teragaki,M.,Iwao,H.and Yoshikawa,J." Jpn Circ J. 62(1). 47-52 (1998)
钙拮抗剂盐酸马尼地平对异丙肾上腺素引起的左心室肥厚的影响:“Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:

的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('', 18)}}的其他基金

An implantable biosensor microsystem for real-time measurement of circulating biomarkers
用于实时测量循环生物标志物的植入式生物传感器微系统
  • 批准号:
    2901954
  • 财政年份:
    2028
  • 资助金额:
    --
  • 项目类别:
    Studentship
Exploiting the polysaccharide breakdown capacity of the human gut microbiome to develop environmentally sustainable dishwashing solutions
利用人类肠道微生物群的多糖分解能力来开发环境可持续的洗碗解决方案
  • 批准号:
    2896097
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
A Robot that Swims Through Granular Materials
可以在颗粒材料中游动的机器人
  • 批准号:
    2780268
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Likelihood and impact of severe space weather events on the resilience of nuclear power and safeguards monitoring.
严重空间天气事件对核电和保障监督的恢复力的可能性和影响。
  • 批准号:
    2908918
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Proton, alpha and gamma irradiation assisted stress corrosion cracking: understanding the fuel-stainless steel interface
质子、α 和 γ 辐照辅助应力腐蚀开裂:了解燃料-不锈钢界面
  • 批准号:
    2908693
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Field Assisted Sintering of Nuclear Fuel Simulants
核燃料模拟物的现场辅助烧结
  • 批准号:
    2908917
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Assessment of new fatigue capable titanium alloys for aerospace applications
评估用于航空航天应用的新型抗疲劳钛合金
  • 批准号:
    2879438
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
CDT year 1 so TBC in Oct 2024
CDT 第 1 年,预计 2024 年 10 月
  • 批准号:
    2879865
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Developing a 3D printed skin model using a Dextran - Collagen hydrogel to analyse the cellular and epigenetic effects of interleukin-17 inhibitors in
使用右旋糖酐-胶原蛋白水凝胶开发 3D 打印皮肤模型,以分析白细胞介素 17 抑制剂的细胞和表观遗传效应
  • 批准号:
    2890513
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Understanding the interplay between the gut microbiome, behavior and urbanisation in wild birds
了解野生鸟类肠道微生物组、行为和城市化之间的相互作用
  • 批准号:
    2876993
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship

相似国自然基金

铋基邻近双金属位点Type B异质结光热催化合成氨机制研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    30.0 万元
  • 项目类别:
    省市级项目
智能型Type-I光敏分子构效设计及其抗耐药性感染研究
  • 批准号:
    22207024
  • 批准年份:
    2022
  • 资助金额:
    20 万元
  • 项目类别:
    青年科学基金项目
TypeⅠR-M系统在碳青霉烯耐药肺炎克雷伯菌流行中的作用机制研究
  • 批准号:
  • 批准年份:
    2021
  • 资助金额:
    55 万元
  • 项目类别:
    面上项目
替加环素耐药基因 tet(A) type 1 变异体在碳青霉烯耐药肺炎克雷伯菌中的流行、进化和传播
  • 批准号:
    LY22H200001
  • 批准年份:
    2021
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
面向手性α-氨基酰胺药物的新型不对称Ugi-type 反应开发
  • 批准号:
    LY22B020003
  • 批准年份:
    2021
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
BMP9/BMP type I receptors 通过激活 PPARα保护心肌梗死的机制研究
  • 批准号:
    LQ22H020003
  • 批准年份:
    2021
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
C2H2-type锌指蛋白在香菇采后组织软化进程中的作用机制研究
  • 批准号:
    32102053
  • 批准年份:
    2021
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
血管阻断型Type-I光敏剂合成及其三阴性乳腺癌光诊疗
  • 批准号:
    62120106002
  • 批准年份:
    2021
  • 资助金额:
    255 万元
  • 项目类别:
    国际(地区)合作与交流项目
Chichibabin-type偶联反应在构建联氮杂芳烃中的应用
  • 批准号:
  • 批准年份:
    2020
  • 资助金额:
    63 万元
  • 项目类别:
    面上项目
茶尺蠖Type-II环氧性信息素合成酶关键基因的鉴定及功能研究
  • 批准号:
    LQ21C140001
  • 批准年份:
    2020
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目

相似海外基金

Gradient environment-type biogas production system with an electron transfer control mechanism for microorganisms
具有微生物电子传递控制机制的梯度环境型沼气生产系统
  • 批准号:
    19H03080
  • 财政年份:
    2019
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Bundle Level Type Gradient Sliding Methods for Large Scale Convex Optimization
大规模凸优化的束层式梯度滑动方法
  • 批准号:
    1719932
  • 财政年份:
    2017
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
Self Recovery type active fuel electrode with nano gradient function for reversible type fuel cell
用于可逆型燃料电池的具有纳米梯度功能的自恢复型活性燃料电极
  • 批准号:
    25620197
  • 财政年份:
    2013
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Challenging Exploratory Research
Development of a dendritic structure with a gradient-type quantum well potential
具有梯度型量子阱势的树枝状结构的开发
  • 批准号:
    24750099
  • 财政年份:
    2012
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
Calculs de solutions d'une équation aux dérivées partielles de type gradient
类型梯度部分方程的解计算
  • 批准号:
    431756-2012
  • 财政年份:
    2012
  • 资助金额:
    --
  • 项目类别:
    University Undergraduate Student Research Awards
Study of highly correlated electron system by angle resolved thermoelectric power measurement, using Corbino disk-type temperature gradient
使用 Corbino 盘型温度梯度通过角分辨热电功率测量研究高度相关电子系统
  • 批准号:
    21654048
  • 财政年份:
    2009
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Challenging Exploratory Research
Water lubrication and depth profile analysis of network-type brush with a gradient structure
梯度结构网络型电刷的水润滑及深度剖面分析
  • 批准号:
    19750098
  • 财政年份:
    2007
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
Fabrication of Continuous Fiber-reinforced Thermoplastic Composites with Structural Gradient from Sheath-core Type Bicomponent Fibers
皮芯型双组分纤维制备连续纤维增强结构梯度热塑性复合材料
  • 批准号:
    10650675
  • 财政年份:
    1998
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Differential operators of gradient type on symmetric spaces and representations of Lie algebras
对称空间上梯度型微分算子及李代数的表示
  • 批准号:
    09440002
  • 财政年份:
    1997
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
"Formation of Functional Gradient Zirconia Coating by Gas Tunnel Type Plasma Spraying"
《气体隧道式等离子喷涂形成功能梯度氧化锆涂层》
  • 批准号:
    05650711
  • 财政年份:
    1993
  • 资助金额:
    --
  • 项目类别:
    Grant-in-Aid for General Scientific Research (C)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了