Development of adaptive leanring method based on optimization of probability measures
Development of adaptive leanring method based on optimization of probability measures
基于概率测度优化的自适应学习方法的发展
批准号：
22H03650
负责人：
二反田 篤史
金额：
$10.98万
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
项目状态：
未结题
起止时间：
2022-04-01 至 2026-03-31
中文摘要
翻译
最適化による大域収束性を備えるモデルとして平均場ニューラルネットワークがある．このモデルは深層学習の成功要因と考えられる表現学習の性質を備えることから重要な研究対象になっている．同時にこのモデルの最適化理論は一般に困難であり，特に最適化効率を明らかにする収束率解析のためには強い仮定や正則化が必要と考えられていた．このような背景の中，学習問題を確率測度の空間上で定式化し最適化問題にカルバック・ライブラ距離を正則化として加えることでより自然に凸最適化理論が展開可能となることを本研究で示した．具体的には平均場ランジュバンダイナミクスの理論を構築することで，ニューロンが無数にある場合の平均場ニューラルネットワークに対するノイズ付き勾配降下法の大域的収束性とその収束率を示した．また問題の凸性を活かすことで従来の有限次元空間上の凸最適化理論を平均場ニューラルネットワークの解析に援用可能であることを示した．これにより有限のニューロン数のもとでも効率的な最適化が可能であることを示した．
英文摘要
最適化による大域収束性を備えるモデルとして平均場ニューラルネットワークがある．このモデルは深層学習の成功要因と考えられる表現学習の性質を備えることから重要な研究対象になっている．同時にこのモデルの最適化理論は一般に困難であり，特に最適化効率を明らかにする収束率解析のためには強い仮定や正則化が必要と考えられていた．このような背景の中，学習問題を確率測度の空間上で定式化し最適化問題にカルバック・ライブラ距離を正則化として加えることでより自然に凸最適化理論が展開可能となることを本研究で示した．具体的には平均場ランジュバンダイナミクスの理論を構築することで，ニューロンが無数にある場合の平均場ニューラルネットワークに対するノイズ付き勾配降下法の大域的収束性とその収束率を示した．また問題の凸性を活かすことで従来の有限次元空間上の凸最適化理論を平均場ニューラルネットワークの解析に援用可能であることを示した．これにより有限のニューロン数のもとでも効率的な最適化が可能であることを示した．
期刊论文(13)
专著(0)
科研奖励(0)
会议论文
登录
查看更多内容
Convergence of mean field gradient Langevin dynamics for optimizing two-layer neural networks
优化两层神经网络的平均场梯度 Langevin 动力学收敛
优化两层神经网络的平均场梯度 Langevin 动力学收敛
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
[Taiji Suzuki, Atsushi Nitanda, Denny Wu, Kazusato Oko]
通讯作者：
Kazusato Oko
深層学習からマルチモーダル情報処理へ
从深度学习到多模态信息处理
从深度学习到多模态信息处理
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
[中山 英樹, 二反田 篤史, 田村 晃裕, 井上 中順, 牛久 祥孝]
通讯作者：
牛久 祥孝
平均化確率的勾配降下法による平坦性を指向する帰納バイアスの強化
使用平均随机梯度下降加强对平坦度的归纳偏差
使用平均随机梯度下降加强对平坦度的归纳偏差
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
[Kazusato Oko, Taiji Suzuki, Atsushi Nitanda, Denny Wu, Atsushi Nitanda, Atsushi Nitanda, Atsushi Nitanda, 二反田篤史, 菊池竜平，前田修吾，二反田篤史]
通讯作者：
菊池竜平，前田修吾，二反田篤史
ニューラルネットワークの平均場解析
神经网络的平均场分析
神经网络的平均场分析
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
[Kazusato Oko, Taiji Suzuki, Atsushi Nitanda, Denny Wu, Atsushi Nitanda, Atsushi Nitanda, Atsushi Nitanda, 二反田篤史]
通讯作者：
二反田篤史
トロント大学(カナダ)
多伦多大学（加拿大）
多伦多大学（加拿大）
DOI：
--
发表时间：
期刊：
影响因子：
--
作者：
[]
通讯作者：
共 11 条
確率測度最適化法に基づく適応的機械学習アルゴリズムの研究
-
批准号：23K24906
-
项目类别：Grant-in-Aid for Scientific Research (B)
-
资助金额：$6.99万
-
财政年份：2024
-
负责人：二反田 篤史
-
依托单位：
海外基金