Development of adaptive leanring method based on optimization of probability measures
基于概率测度优化的自适应学习方法的发展
基本信息
- 批准号:22H03650
- 负责人:
- 金额:$ 10.98万
- 依托单位:
- 依托单位国家:日本
- 项目类别:Grant-in-Aid for Scientific Research (B)
- 财政年份:2022
- 资助国家:日本
- 起止时间:2022-04-01 至 2026-03-31
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
最適化による大域収束性を備えるモデルとして平均場ニューラルネットワークがある.このモデルは深層学習の成功要因と考えられる表現学習の性質を備えることから重要な研究対象になっている.同時にこのモデルの最適化理論は一般に困難であり,特に最適化効率を明らかにする収束率解析のためには強い仮定や正則化が必要と考えられていた.このような背景の中,学習問題を確率測度の空間上で定式化し最適化問題にカルバック・ライブラ距離を正則化として加えることでより自然に凸最適化理論が展開可能となることを本研究で示した.具体的には平均場ランジュバンダイナミクスの理論を構築することで,ニューロンが無数にある場合の平均場ニューラルネットワークに対するノイズ付き勾配降下法の大域的収束性とその収束率を示した.また問題の凸性を活かすことで従来の有限次元空間上の凸最適化理論を平均場ニューラルネットワークの解析に援用可能であることを示した.これにより有限のニューロン数のもとでも効率的な最適化が可能であることを示した.
Optimization of large domain convergence parameters The key factors for success in deep learning include performance, nature of learning, preparation, and important research objects. At the same time, the optimization theory of this paper is difficult in general, and the optimization efficiency is necessary in particular. In this paper, we show that the learning problem is spatially formulated with accuracy measures, and the optimization problem is spatially regularized with respect to the natural convex optimization theory. Specifically, the theory of average field distribution is constructed, and the average field distribution in many cases is illustrated by the large domain convergence property and the convergence rate of the coupling reduction method. Convex optimization theory in finite dimensional space is applied to the analysis of convexity problems. The number of options available is limited to the number of options available.
项目成果
期刊论文数量(13)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Convergence of mean field gradient Langevin dynamics for optimizing two-layer neural networks
优化两层神经网络的平均场梯度 Langevin 动力学收敛
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Taiji Suzuki;Atsushi Nitanda;Denny Wu;Kazusato Oko
- 通讯作者:Kazusato Oko
平均化確率的勾配降下法による平坦性を指向する帰納バイアスの強化
使用平均随机梯度下降加强对平坦度的归纳偏差
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Kazusato Oko;Taiji Suzuki;Atsushi Nitanda;Denny Wu;Atsushi Nitanda;Atsushi Nitanda;Atsushi Nitanda;二反田篤史;菊池竜平,前田修吾,二反田篤史
- 通讯作者:菊池竜平,前田修吾,二反田篤史
ニューラルネットワークの平均場解析
神经网络的平均场分析
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Kazusato Oko;Taiji Suzuki;Atsushi Nitanda;Denny Wu;Atsushi Nitanda;Atsushi Nitanda;Atsushi Nitanda;二反田篤史
- 通讯作者:二反田篤史
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
二反田 篤史其他文献
Generalization error analysis of deep learning via a kernel perspective
从内核角度分析深度学习的泛化误差
- DOI:
- 发表时间:
2017 - 期刊:
- 影响因子:0
- 作者:
二反田 篤史;鈴木 大慈;Taiji Suzuki - 通讯作者:
Taiji Suzuki
Extending Bayesian coherent point drift into function registration
将贝叶斯相干点漂移扩展到函数配准中
- DOI:
- 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
中山 英樹;二反田 篤史;田村 晃裕;井上 中順;牛久 祥孝;Hirose Osamu;Osamu Hirose - 通讯作者:
Osamu Hirose
二反田 篤史的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('二反田 篤史', 18)}}的其他基金
確率測度最適化法に基づく適応的機械学習アルゴリズムの研究
基于概率测度优化方法的自适应机器学习算法研究
- 批准号:
23K24906 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
相似海外基金
機械学習アルゴリズムを用いた敗血症性凝固線溶障害の早期予測モデルの開発
使用机器学习算法开发脓毒性凝血和纤溶性疾病的早期预测模型
- 批准号:
24K12133 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
アニーリングと機械学習の融合による説明可能AI基盤の研究
结合退火和机器学习研究可解释的人工智能基础设施
- 批准号:
24KJ1081 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for JSPS Fellows
機械学習による滑走路の離着陸容量の短期的予測手法に関する研究
基于机器学习的跑道起降能力短期预测方法研究
- 批准号:
24K07722 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
機械学習を用いた波形解析による高速中性子エネルギー測定法の技術開拓
利用机器学习进行波形分析的快中子能量测量方法的技术开发
- 批准号:
24K08298 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
調理シミュレーションと機械学習の融合および非接触計測による加熱制御システムの構築
结合烹饪模拟与机器学习和非接触测量构建加热控制系统
- 批准号:
24K05572 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
肝臓内酸素動態を含む透析低血圧発症予知モデルの構築:統計・機械学習分析による解析
构建预测透析低血压发作(包括肝内氧动态)的模型:使用统计和机器学习分析进行分析
- 批准号:
24K15796 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
臨床情報による高精度分娩進行予測モデルの開発: 機械学習の活用
利用临床信息开发高精度的分娩进展预测模型:利用机器学习
- 批准号:
24K13948 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
新興感染症のシステマティック・レビューを機械学習を用いて簡易に実施するための研究
利用机器学习轻松对新发传染病进行系统评价的研究
- 批准号:
24K13518 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
独立成分分析を活用した信頼性の高い機械学習手法の構築
使用独立成分分析构建可靠的机器学习方法
- 批准号:
24K15093 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)
学習過程情報に基づき理由を説明可能な高速論理型機械学習器の開発の提案
开发可根据学习过程信息解释原因的高速逻辑机器学习装置的提案
- 批准号:
24K15095 - 财政年份:2024
- 资助金额:
$ 10.98万 - 项目类别:
Grant-in-Aid for Scientific Research (C)