モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習

矩拟牛顿法与随机方差约简法相结合的强非线性大数据学习

基本信息

批准号：
20K11979
负责人：
二宮洋
金额：
$ 2.25万
依托单位：
Shonan Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析・提案手法の実問題への応用に関する研究これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，準ニュートン法（QN）と比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数や学習係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があり，その適応的決定法に対するロバスト性に関する考察を行ってきた．さらに，提案手法の実問題への応用として，画像認識や生成AIなどへの応用を念頭に，その基礎研究を行った．

该研究主题旨在为神经网络开发新的，前所未有的学习方法，这些方法能够处理更复杂的（强烈非线性）和大量数据（大数据），这些数据（大数据）将随着AI和IoT技术带来的新时代的到来。因此，我们将重点介绍以下三个点： - 瞬间的准牛顿方法加快了高度非线性数据和收敛性能的分析 - 算法的开发，这些算法使高度非线性的大数据能够高精度和高速和高速学，以及对实践问题的建议分析和应用。这些研究将以复杂性和规模的神经网络的学习问题来解决以前无法实现的学习问题。目的是阐明加速机制，并通过分析其收敛性能来证明其有效性。为此，我们旨在通过组合时刻的准Newton方法和固定点加速度方法来建立和分析一种为神经网络学习神经网络的学习算法的方法。申请人提出了Nesterov的准加速方法（NAQ）和MONM QUASI-NEWTON方法（MOQ）克服了这个问题（一个迭代需要梯度计算的点）。与准Newton方法（QN）相比，这些方法已成功地从2/3显着降低到1/3，并将其从1/4降低到1/9。另一方面，这些算法的问题是，由于力矩系数和学习系数（超参数）的值，收敛变得不稳定，并且我们研究了自适应决策方法的鲁棒性。此外，进行了基础研究，目的是将提出的方法应用于实际问题，并将其应用于图像识别和代理AI。

项目成果

期刊论文数量（10）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

慣性項付き記憶制限準ニュートン法を用いた深層強化学習のTensorflowへの実装

使用带惯性项的内存限制拟牛顿法在 Tensorflow 中实现深度强化学习

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
田中和真;マハブービ・シャヘラザード;二宮洋
通讯作者：
二宮洋

aSNAQ : An Adaptive Stochastic Nesterov’s Accelerated Quasi-Newton Method for Training RNNs

aSNAQ：用于训练 RNN 的自适应随机 Nesterov 加速拟牛顿法

DOI：
发表时间：
2020
期刊：
IEICE NOLTA
影响因子：
0
作者：
Sendilkkumaar;Indrapriyadarsini;Mahboubi;Shahrzad and Ninomiya;Hiroshi;and Asai;Hideki
通讯作者：
Hideki

慣性項による確率的重み差分伝播法の高速化に関する研究

利用惯性项加速随机权差传播方法的研究

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
マハブービ　シェヘラザード;二宮　洋
通讯作者：
二宮　洋

道路標識検出用SSDのためのUnityを用いたアノテーション自動化に関する研究

使用Unity for SSD进行道路标志检测的注释自动化研究

DOI：
发表时间：
2023
期刊：
影响因子：
0
作者：
山崎太郎;山富龍;マハブービ　シェヘラザード;二宮洋
通讯作者：
二宮洋

addHessian: Combining quasi-Newton method with first-order method for neural network training

addHessian：拟牛顿法与一阶法相结合进行神经网络训练

DOI：
10.1587/nolta.13.361
发表时间：
2022
期刊：
Nonlinear Theory and Its Applications, IEICE
影响因子：
0
作者：
Yasuda Sota;Indrapriyadarsini S.;Ninomiya Hiroshi;Kamio Takeshi;Asai Hideki
通讯作者：
Asai Hideki

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

二宮洋其他文献

分散並列環境における準ニュートン学習アルゴリズムの有効性

分布式并行环境下拟牛顿学习算法的有效性

DOI：
发表时间：
2013
期刊：
影响因子：
0
作者：
佐伯誠;坂下善彦;二宮洋
通讯作者：
二宮洋

パラメータ化オンライン準ニュートン法による階層型ニューラルネットワークの学習

使用参数化在线拟牛顿法训练分层神经网络

DOI：
发表时间：
2012
期刊：
信学論 A
影响因子：
0
作者：
Satomi Baba;Yongjoon Joe,Atsushi Iwasaki;Makoto Yokoo;Masayasu Atsumi;二宮洋
通讯作者：
二宮洋

改良型分散準ニュートン法によるニューラルネットワークの学習

使用改进的分布式拟牛顿法学习神经网络

DOI：
发表时间：
2013
期刊：
影响因子：
0
作者：
佐伯誠;坂下善彦;二宮洋
通讯作者：
二宮洋

Neural Networkを用いたAnalog回路設計

使用神经网络的模拟电路设计

DOI：
发表时间：
2020
期刊：
影响因子：
0
作者：
マハブービ・シャヘラザード;センディルクマール・インドラプリヤダルシ二;二宮洋;浅井秀樹;センディルクマール・インドラプリヤダルシ二，マハブービ・シェヘラザード，二宮洋，浅井秀樹
通讯作者：
センディルクマール・インドラプリヤダルシ二，マハブービ・シェヘラザード，二宮洋，浅井秀樹