权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

基于结构保持数值分析思想的优化和深度学习方法的新发展

基本信息

批准号：
21H03452
负责人：
松尾宇泰
金额：
$ 10.98万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03452/
关键词：
数値解析深層学習最適化

项目摘要

本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である．以前のサーベイにより，最適化手法に対する常微分方程式アプローチにおいて，数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた．この状況をふまえて昨年度までに，常微分方程式に対する数値解法の安定性の議論から，最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた．また最適化の一次法において，数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり，悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから，それに適した数値解法を用いることで，悪条件な問題においても効率よく動く手法が構成できることを示していた．本年度は，主に最適化手法の理論解析手法に着目し，数値解析学における「構造保存解法」の概念をうまく用いると，これまで職人芸的であった最適化手法の理論解析が見通しよく，統一的な枠組の上で議論できることを発見した．この新しい枠組では，手法の収束性を保証するための仮定が整理されており明解であり，新しい解法の構築に役立つことが期待される．

This study consists of: (1) re-examining the basis of numerical analytic solutions for optimization techniques and deep learning techniques;(2) extracting useful mathematical structures;(3) examining methods for numerical analytic solutions for structural preservation; and (4) deriving new discretization techniques. In the process of optimization, deep learning, new computing, segmentation, construction, preservation, solution, numerical analysis, updating, and necessary research, optimization and deep learning are discussed. In the past, the optimization method was used to solve the ordinary differential equation. The knowledge of numerical analysis was fully utilized to solve the incomplete state. This paper discusses the stability of the solution of ordinary differential equations in the past year, and shows the essential stability of the solution of ordinary differential equations in the optimization method. A method of optimization and numerical analysis is used to determine the stability of the problem. A method of numerical analysis is used to determine the stability of the problem. A method of numerical analysis is used to determine the stability of the problem. This year, the theoretical analysis of optimization methods has been focused on, and the concept of "structure preservation solution" has been used in numerical analysis. Therefore, the theoretical analysis of optimization methods has become clear to all professionals, and discussions have been held on a unified team. This new approach is to ensure the integrity of the approach.