Statistical Mechanical Informatics of Deep Neural Networks

点击翻译按钮获取中文摘要

本年度は、深層ニューラルネットワークによる機械学習の統計力学的解析について、以下のような成果が得られた。研究成果は論文"Spatially heterogeneous learning by a deep student machine", Hajime Yoshino, プレプリント arXiv:2302.07419 としてまとめられ、現在投稿中である。(1) 本研究の準備研究である　H. Yoshino, SciPost Physics Core 2.2 (2020) 005で示したレプリカ理論が「密結合」と呼ぶ極限で厳密になることを示した。　ここで、密結合とはパーセプトロンの入力の数をc、ネットワークの幅をNとしたとき、1 << c << Nとなるような極限である。この場合に、ネットワーク内で複数の層を経由して閉じる相互作用ループの寄与が無視でき、H. Yoshino(2020)で得られた自由エネルギーの表式が厳密になることを示した。(2) 一方、現実の系ではこの「密結合」に対するループ補正が重要になる。一つは、現実のネットワークの幅Nが有限であることによる効果である。もう一つは、現実のデータがもつ「有限次元効果」である。この有限次元Dの効果をhidden manifold model(　S. Goldt et. al. 2020))を我々のモデルに組み込むことによって考察した。その結果、これも有限幅N効果と同様に、ループ補正をもたらすことがわかった。このことから、有限幅Nの効果と、有限次元Dの効果は同じように現れることが期待される。実際、このことを下記の数値シミュレーションによって確かめることができた。(3)昨年度は全結合系のシミュレーションを行なったが、上述の密結合極限を念頭にcとNをパラメータとして教師-生徒シナリオに関する数値シミュレーションを行なった。