Riemannian Fixed Point Optimization Algorithm and Its Application to Machine Learning

黎曼不动点优化算法及其在机器学习中的应用

• 批准号: 21K11773
• 负责人: 飯塚 秀明
• 金额: $ 2.16万
• 依托单位: Meiji University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K11773/
• 关键词: リーマン多様体; 不動点最適化; 機械学習; 適応手法; リーマン不動点最適化アルゴリズム; 適応学習率最適化アルゴリズム

機械学習の解析対象となる大規模なデータが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。特に、適応手法と呼ばれるユークリッド空間上の強力な機械学習法をリーマン多様体上へ拡張することで、データ解析や自然言語処理に現れる複雑な最適化問題を解決している。しかしながら、例えば、ノイズに対する頑強な学習器構築に必要とされる疎性（sparsity）を考慮した機械学習においては、従来の適応手法では適用できないリーマン多様体上の大規模かつ複雑な最適化を解決する必要がある。本研究の目的は、このような最適化問題を解決する新アルゴリズムに基づいた機械学習法を開発することである。令和4年度では、リーマン多様体上の大規模かつ複雑な最適化問題を解くための適応手法とその収束解析について提案することができた。また、敵対的生成ネットワークに現れる最適化問題を解くための適応手法とその収束解析について提案することができた。

Mechanical learning analysis of images, large-scale distribution of images, optimization of images, collection of images There is a discussion on the existing space and the possibility of mechanical learning. Special, adaptive techniques and spatial robust mechanical learning methods are used to solve complex optimization problems in multi-dimensional speech processing. For example, the sparsity of the tenacious learner construction is necessary to consider the mechanical learning, and the adaptive method is necessary to solve the large-scale complex optimization problem on the multi-body. The purpose of this study is to solve the optimization problem and develop a new method of machine learning. In 2004, we solved the optimization problem of large-scale complex optimization on multiple objects. The problem of optimization is solved by means of adaptive methods and bundle analysis.

项目成果

Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule

• 发表时间: 2022-01
• 作者: Naoki Sato;H. Iiduka

連続最適化アルゴリズム

持续优化算法

• 发表时间: 2023
• 作者: Zhang Rui;Imaizumi Masaaki;Sch?lkopf Bernhard;Muandet Krikamol;飯塚 秀明
• 通讯作者: 飯塚 秀明

Riemannian Adaptive Optimization Algorithm and its Application to Natural Language Processing

• DOI: 10.1109/tcyb.2021.3049845
• 发表时间: 2020-04
• 期刊: IEEE Transactions on Cybernetics
• 影响因子: 11.8
• 作者: Hiroyuki Sakai;H. Iiduka

Global convergence of Hager--Zhang type Riemannian conjugate gradient method

Hager的全局收敛--张型黎曼共轭梯度法

• DOI: 10.1016/j.amc.2022.127685
• 发表时间: 2023
• 期刊: Applied Mathematics and Computation
• 影响因子: 4
• 作者: Sakai Hiroyuki;Sato Hiroyuki;Iiduka Hideaki
• 通讯作者: Iiduka Hideaki

数理最適化研究室

数学优化实验室