权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

深層学習の数学的原理：高次元統計解析との接点の解明

深度学习的数学原理：阐明与高维统计分析的联系

基本信息

批准号：
21K13833
负责人：
中山優吾
金额：
$ 3万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

今年度はニューラルネットワークにおける中間層が巨大なネットワークの場合における固有構造について計画を進めた．これは本研究課題の計画における①「部分モデルの数理解析」で達成したかった固有解析にあたり，②「深層学習のダイナミクスの数理解析」について，全結合型ニューラルネットワークの解析につながるものである．先行研究から中間層の次元数を増やすとき，その層の最大固有値は他の固有値と比べて大きく，固有値全体の中で外れ値のような振る舞いを持ち，学習精度に影響を与えることがわかった．研究代表者が行う高次元解析においても，遺伝子発現データの固有値にはスパイク構造として同様の構造が見られ，ニューラルネットワークでの構造との関係性が見つかった．これまでもスパイク構造をモデルに反映することで固有値の理論構築が可能になったことを踏まえ，中間層における固有構造について，同様のモデル上で数値実験と理論研究を進めた．専門家からコメントを得るために，スイスのチューリッヒ大学と研究交流を行い，この観点に関する知見を得た．先行研究では，正規分布として考えているが，研究代表者ではいくつかの緩いモーメント条件から固有解析を解析できている．ただし，非線形関数を施したあとのランダム行列理論が必要となることが判明したため，併せてこの技術に関する調査を進めた．この固有値構造に関連して，高次元データの外れ値とロバストについて学会発表を行った．

This year, the middle layer is huge, and the inherent structure is planned to advance. This paper aims at the research project of (1)"Mathematical analysis of partial structure" and (2)"Mathematical analysis of deep learning". First, the number of dimensions in the middle layer increases, the maximum intrinsic value of the layer increases, the intrinsic value of the layer increases, and the intrinsic value of the layer increases. The representative of the research team has been engaged in high-dimensional analysis, and the inherent value of the discovery of the gene has been found in the structure of the same kind. The theoretical construction of inherent value is possible, the inherent structure is possible, the intermediate layer is inherent, the same is true, and the theoretical research on inherent value is progressing. The family has a good relationship with the university, and the university has a good relationship with it. The former study is to study the normal distribution and the representative of the study is to study the inherent analysis and analysis. The theory of non-linear relationship is necessary to determine the relationship between the two. The intrinsic value of the structure is related to the external value of the high-dimensional structure.