モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習

矩拟牛顿法与随机方差约简法相结合的强非线性大数据学习

• 批准号: 20K11979
• 负责人: 二宮 洋
• 金额: $ 2.25万
• 依托单位: Shonan Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K11979/
• 关键词: ニューラルネットワーク; 学習アルゴリズム; 準ニュートン法; モーメント法; 不動点加速法; ネステロフの加速勾配法

本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析・提案手法の実問題への応用に関する研究これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，準ニュートン法（QN）と比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数や学習係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があり，その適応的決定法に対するロバスト性に関する考察を行ってきた．さらに，提案手法の実問題への応用として，画像認識や生成AIなどへの応用を念頭に，その基礎研究を行った．

This research topic is aimed at the development of AI and IoT technology, which is expected to lead to the advent of a new era and the development of a new learning method. For this reason, the following three points are central to the study. Analysis of high speed and beam performance of strong nonlinear data processing method; analysis of high precision of strong nonlinear data processing method; analysis of high speed possibility; analysis of development of proposal method; research on application of proposal method; research on research on application of proposal method; research on application; research on solving problem of proposal method; research on application; research on application of proposal method; research on application; research on application; research on scale; The analysis of beam performance shows that there is a high speed and high efficiency. The purpose of this study is to analyze the establishment and analysis of the fixed point acceleration method, the integration of the fixed point acceleration method and the fixed point acceleration method. In response to this, the applicant proposed the Acceleration Quasi-Nesting Method (NAQ) for processing software, which overcomes some of the problem points (1 iteration and 2 degrees of matching calculation are necessary points). The QN method was compared with the NAQ method, and the MoQ method was reduced by 2/3~1/9. On the one hand, the determination method of the coefficient and the learning coefficient is used to investigate the problem of instability in the beam. In addition, the proposal method and the application of the problem, portrait recognition, AI generation, application of ideas, and basic research.

项目成果

慣性項付き記憶制限準ニュートン法を用いた深層強化学習のTensorflowへの実装

使用带惯性项的内存限制拟牛顿法在 Tensorflow 中实现深度强化学习

• 发表时间: 2021
• 作者: 田中和真;マハブービ・シャヘラザード;二宮 洋
• 通讯作者: 二宮 洋

aSNAQ : An Adaptive Stochastic Nesterov’s Accelerated Quasi-Newton Method for Training RNNs

aSNAQ：用于训练 RNN 的自适应随机 Nesterov 加速拟牛顿法

• 发表时间: 2020
• 期刊: IEICE NOLTA
• 作者: Sendilkkumaar;Indrapriyadarsini;Mahboubi;Shahrzad and Ninomiya;Hiroshi;and Asai;Hideki
• 通讯作者: Hideki

慣性項による確率的重み差分伝播法の高速化に関する研究

利用惯性项加速随机权差传播方法的研究

• 发表时间: 2022
• 作者: マハブービ シェヘラザード;二宮 洋
• 通讯作者: 二宮 洋

道路標識検出用SSDのためのUnityを用いたアノテーション自動化に関する研究

使用Unity for SSD进行道路标志检测的注释自动化研究

• 发表时间: 2023
• 作者: 山崎 太郎;山富 龍;マハブービ シェヘラザード;二宮 洋
• 通讯作者: 二宮 洋

addHessian: Combining quasi-Newton method with first-order method for neural network training

addHessian：拟牛顿法与一阶法相结合进行神经网络训练

• DOI: 10.1587/nolta.13.361
• 发表时间: 2022
• 期刊: Nonlinear Theory and Its Applications, IEICE
• 作者: Yasuda Sota;Indrapriyadarsini S.;Ninomiya Hiroshi;Kamio Takeshi;Asai Hideki
• 通讯作者: Asai Hideki