深層学習の数学的原理：高次元統計解析との接点の解明

今年度はニューラルネットワークにおける中間層が巨大なネットワークの場合における固有構造について計画を進めた．これは本研究課題の計画における①「部分モデルの数理解析」で達成したかった固有解析にあたり，②「深層学習のダイナミクスの数理解析」について，全結合型ニューラルネットワークの解析につながるものである．先行研究から中間層の次元数を増やすとき，その層の最大固有値は他の固有値と比べて大きく，固有値全体の中で外れ値のような振る舞いを持ち，学習精度に影響を与えることがわかった．研究代表者が行う高次元解析においても，遺伝子発現データの固有値にはスパイク構造として同様の構造が見られ，ニューラルネットワークでの構造との関係性が見つかった．これまでもスパイク構造をモデルに反映することで固有値の理論構築が可能になったことを踏まえ，中間層における固有構造について，同様のモデル上で数値実験と理論研究を進めた．専門家からコメントを得るために，スイスのチューリッヒ大学と研究交流を行い，この観点に関する知見を得た．先行研究では，正規分布として考えているが，研究代表者ではいくつかの緩いモーメント条件から固有解析を解析できている．ただし，非線形関数を施したあとのランダム行列理論が必要となることが判明したため，併せてこの技術に関する調査を進めた．この固有値構造に関連して，高次元データの外れ値とロバストについて学会発表を行った．

今年度はニューラルネットワークにおける中間層が巨大なネットワークの場合における固有構造について計画を進めた．これは本研究課題の計画における①「部分モデルの数理解析」で達成したかった固有解析にあたり，②「深層学習のダイナミクスの数理解析」について，全結合型ニューラルネットワークの解析につながるものである．先行研究から中間層の次元数を増やすとき，その層の最大固有値は他の固有値と比べて大きく，固有値全体の中で外れ値のような振る舞いを持ち，学習精度に影響を与えることがわかった．研究代表者が行う高次元解析においても，遺伝子発現データの固有値にはスパイク構造として同様の構造が見られ，ニューラルネットワークでの構造との関係性が見つかった．これまでもスパイク構造をモデルに反映することで固有値の理論構築が可能になったことを踏まえ，中間層における固有構造について，同様のモデル上で数値実験と理論研究を進めた．専門家からコメントを得るために，スイスのチューリッヒ大学と研究交流を行い，この観点に関する知見を得た．先行研究では，正規分布として考えているが，研究代表者ではいくつかの緩いモーメント条件から固有解析を解析できている．ただし，非線形関数を施したあとのランダム行列理論が必要となることが判明したため，併せてこの技術に関する調査を進めた．この固有値構造に関連して，高次元データの外れ値とロバストについて学会発表を行った．