Creation of a foundation for a numerical approach to deep learning

为深度学习的数值方法奠定基础

• 批准号: 20H01822
• 负责人: 降籏 大介
• 金额: $ 11.15万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H01822/
• 关键词: 深層学習; 数値解析的アプローチ; ニューラルネットワーク; 数値解析; 微分方程式; 数値積分; 関数近似

申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．前年度までの計画第１フェーズに引き続き第２フェーズ「数値解析学的アプローチ基盤の構築」に段階をすすめる形で統合班の指揮の下，各班で以下の実験的研究を行った．まず数値微分方程式班は「ネットワークの数値微分方程式表現の枠組探究」テーマについて研究を開始，推進した．内容としては後退誤差解析に基づいて DNN と背後の力学系を同時に理解する基盤を作ること，そしてこの成果に基づいて，解法の陽的・陰的，安定性，近似精度などの数値解法の概念が DNN に対応する数学的対象・性質をを明らかにすることである．なお既存の研究では PolyNet が陰的 Euler 法としての解釈できると主張しているが厳密ではなく，この成果によって修正を要するとみている． さらに構造保存解法を選択する可能性についての検討も行った．これはクラスタリングのために Hamilton 系が優位である可能性が指摘されていることからシンプレクティック解法等の有効性が期待されていたためである．関数近似・数値積分班は「ネットワーク積分変換における数値積分理論の枠組探究」テーマに沿って研究を推進した．内容としては前フェーズの実験結果を踏まえて有望と思われる数値積分公式について積分変換における精密な誤差評価を行い理論基盤を創ることがまず挙げられる．このとき．函数論的・関数解析学的手法などが有効であった．また， DNN の関数表現にとって適切な関数空間の模索も行った．そして，これまで既存研究では深さ方向が 1段の場合しか考えられていなかったが段数を増やした場合の積分変換とその近似についても研究を進めた．

This research project consists of two classes of numerical differential equations, one class of numerical approximation, one class of numerical integration, and one class of homework. In the previous year's plan, the first stage of the project was introduced to the second stage of the project,"Construction of the Digital Analysis Platform." Under the command of the integrated team, each team carried out the following research. The numerical differential equation class is "the research of numerical differential equation behavior". The basic theory of DNN and the mathematical concept of DNN are discussed. The Euler method of PolyNet and its solution are proposed in this paper. The possibility of selecting a structural preservation solution is discussed in the discussion. The Hamilton system has the advantage of the possibility of finding the solution, and the expectation of the solution. A study of numerical approximation and numerical integration The content of this paper is based on the analysis of the results of numerical integration.このとき. Function theory, related to analytical methods. The relationship between the number of DNN and the performance of DNN is related to the relationship between the number of DNN and the performance of DNN. For example, the existing research has been carried out in the direction of depth, in the case of 1 segment, in the case of increase in the number of segments, in the case of integration, in the case of approximation, in the case of progress.

项目成果

最適化に適した安定な数値解法について

关于适合优化的稳定数值求解方法

• 发表时间: 2021
• 作者: 牛山 寛生;佐藤 峻;松尾 宇泰
• 通讯作者: 松尾 宇泰

Deriving efficient optimization methods based on stable explicit numerical methods

基于稳定的显式数值方法推导有效的优化方法

• DOI: 10.14495/jsiaml.14.29
• 发表时间: 2022
• 期刊: JSIAM Letters
• 影响因子: 0.4
• 作者: Ushiyama Kansei;Sato Shun;Matsuo Takayasu
• 通讯作者: Matsuo Takayasu

Adjoint-based computation of the exact Hessian-vector multiplication

精确 Hessian 向量乘法的基于伴随的计算

• 发表时间: 2020
• 作者: S. Ito;T. Matsuda;Y. Miyatake
• 通讯作者: Y. Miyatake

非負制約付き2次計画問題に対する適応型射影SOR法

非负约束二次规划问题的自适应投影SOR方法

• 发表时间: 2021
• 作者: 宮武勇登;曽我部知広
• 通讯作者: 曽我部知広

量子ウォークにより駆動されるランダムウォークの推移確率の骨格構造

量子游走驱动的随机游走转移概率的骨架结构

• 发表时间: 2022
• 作者: 山上智輝;瀬川悦生;田中健一郎;巳鼻孝朋;レーム アンドレ;堀﨑遼一;成瀬 誠
• 通讯作者: 成瀬 誠