ベイズ的大規模深層学習のための自然勾配近似法

贝叶斯大规模深度学习的自然梯度逼近方法

基本信息

  • 批准号:
    19J13477
  • 负责人:
  • 金额:
    $ 1.09万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2019
  • 资助国家:
    日本
  • 起止时间:
    2019-04-25 至 2021-03-31
  • 项目状态:
    已结题

项目摘要

本研究の一年目に取り組んだ、「自然勾配法による大規模 DNN 学習の高速化」の研究成果を発展させた。まず始めに、自然勾配法で計算のボトルネックとなっていた、フィッシャー情報行列及びその逆行列の計算コストを軽減させる研究に取り組んだ。フィッシャー情報行列の性質を利用し、本研究では、フィッシャー情報行列及びその逆行列の計算頻度を自動調整する手法を提案した。学習に必要になる計算時間を約50%にまで削減することに成功した。この研究成果は機械学習分野最難関のジャーナルである IEEE TPAMI に採択された。次に、大規模計算機上における自然勾配法に伴う計算時間の詳細な解析とその計算パフォーマンスの最適化を行った。具体的には、フィッシャー情報行列の逆行列計算の分散化、フィッシャー情報 行列の対称性を利用した計算の高速化、低精度演算による行列計算の高速化、計算と通信のオーバーラップによる通信コストの隠蔽、などの最適化を行った。大規模画像データセット ImageNetの分類タスクにおいてDNNの学習を2分で完了させることに成功した。この研究成果はデータマイニング分野最難関の国際会議 KDD2020 の本会議で発表を行っ た(採択率 16.9% 216/1279 件)。ここまでの本研究で用いてきた自然勾配法では、フィッシャー情報行列を1) DNNの層ごとのブロック対角行列に近似し、2) 各対角ブロックのクロネッカー因子分解近似を行っている。本研究では、この二つの近似について数理的な解析を行った。ニューロンの数を無限に持つ「無限幅DNN」に議論を限定することで、こうした近似を伴う自然勾配法は、正確な自然勾配法と同様の収束を実現できることを初めて証明した。この研究成果は 機械学習分野最難関の NeurIPS2020 の本会議で口頭発表を行った(採択率 1.1% 105/9454 件)。
The research results of "natural matching method for speeding up large-scale DNN learning" are presented. In this paper, we study the natural matching method for calculating the information matrix and the inverse matrix. This study proposes a method for automatically adjusting the frequency of calculation of the information matrix. The time required for learning is reduced by approximately 50%. This research achievement is the most difficult part of mechanical learning. The natural matching method is used to optimize the calculation time on the secondary and large-scale computers Specifically, the decentralization of retrograde column calculation of information matrix, the symmetry of information matrix, the utilization of high-speed calculation, the high-speed calculation of low-precision calculation, the shielding of communication matrix, and the optimization of communication matrix are discussed. Large-scale image classification is completed in 2 minutes. The research results of this conference were released at the most difficult international conference KDD2020 (acquisition rate 16.9% 216/1279). In this study, the natural matching method was used to approximate the information array of DNN layers, and the factorization method was used to approximate the information array of DNN layers. This paper studies the mathematical analysis of the two approximate methods. The number of DNN is infinite. The argument is limited. The natural matching method is correct. The natural matching method is correct. The same bundle is realized. This research achievement is the most difficult part of the mechanical learning division, NeurIPS2020, and the oral presentation of this conference is carried out (the acquisition rate is 1.1% 105/9454).

项目成果

期刊论文数量(4)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Understanding approximate Fisher information for fast convergence of natural gradient descent in wide neural networks*
了解宽神经网络中自然梯度下降快速收敛的近似 Fisher 信息*
Rich Information is Affordable: A Systematic Performance Analysis of Second-order Optimization Using K-FAC
Practical Deep Learning with Bayesian Principle
贝叶斯原理的实用深度学习
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yuichiro Ueno;Kazuki Osawa;Yohei Tsuji;Akira Naruse;and Rio Yokota;Kazuki Osawa
  • 通讯作者:
    Kazuki Osawa
Scalable and Practical Natural Gradient for Large-Scale Deep Learning
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

大沢 和樹其他文献

深層モデルにおいて高速に収束する近似自然勾配法の理論解析
深度模型中快速收敛的近似自然梯度法的理论分析
  • DOI:
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    唐木田 亮;大沢 和樹
  • 通讯作者:
    大沢 和樹

大沢 和樹的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

RI: Small: Approximate Inference for Planning and Reinforcement Learning
RI:小:规划和强化学习的近似推理
  • 批准号:
    2246261
  • 财政年份:
    2023
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Standard Grant
Approximate Inference for Latent Position Models
潜在位置模型的近似推理
  • 批准号:
    RGPIN-2022-03012
  • 财政年份:
    2022
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Discovery Grants Program - Individual
CAREER: Approximate inference at the intersection of neuroscience and machine learning
职业:神经科学和机器学习交叉点的近似推理
  • 批准号:
    2143440
  • 财政年份:
    2022
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Continuing Grant
Establishing a Flexible and Reliable Automatic Approximate Inference Method to Accelerate the Social Execution of Statistical Modeling.
建立灵活可靠的自动近似推理方法,加速统计建模的社会化执行。
  • 批准号:
    21J11859
  • 财政年份:
    2021
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
Fast approximate inference methods: new algorithms, applications and theory
快速近似推理方法:新算法、应用和理论
  • 批准号:
    DP180100597
  • 财政年份:
    2018
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Discovery Projects
Properties of Approximate Inference for Complex High-Dimensional Models
复杂高维模型的近似推理的性质
  • 批准号:
    1811614
  • 财政年份:
    2018
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Continuing Grant
Approximate inference and Bayesian decision theory
近似推理和贝叶斯决策理论
  • 批准号:
    1971216
  • 财政年份:
    2018
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Studentship
CAREER: Scaling Approximate Inference and Approximation-Aware Learning
职业:扩展近似推理和近似感知学习
  • 批准号:
    1762268
  • 财政年份:
    2017
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Continuing Grant
CAREER: Scaling Approximate Inference and Approximation-Aware Learning
职业:扩展近似推理和近似感知学习
  • 批准号:
    1553547
  • 财政年份:
    2016
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Continuing Grant
EAGER: Approximate Inference Robust Speech Processing via Sampling
EAGER:通过采样进行近似推理鲁棒语音处理
  • 批准号:
    1152288
  • 财政年份:
    2011
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了