統計力学的近似理論を用いた確率的深層学習アルゴリズムの開発

点击翻译按钮获取中文摘要

平成30年度終了時点では、本年度は、(i) 平成30年度までの研究で得られている適応 TAP 方程式の導出法のさらなる一般化、(ii) 平均場近似アルゴリズムの実システムへの応用の二点についての研究を進める予定であった。しかしながら、残りの期間での研究の進展可能性を考慮し、本年度は (i) の一点に集中して研究を行うこととした。この目的に対する取り組みで得られた主な結果は、平成30年度の研究で得られた提案手法により導出した、高次ボルツマンマシンに対する適応 TAP 方程式に準ずる近似方程式に関連する。統計物理における基礎的な多体相互作用モデルである p-spin Ising 模型に対して提案手法を用いて導出される近似方程式が、適応 TAP 方程式が満たすべき重要な性質の一つを再現することを示した。p-spin Ising 模型は高次マルコフ確率場の一つであるため、この結果から、高次マルコフ確率場に対する提案手法により導かれる近似方程式が、従来の適応 TAP 方程式の持つ性質の一つを持つことが明らかとなった。以上の成果の一部をまとめた論文は現在査読中であり、プレプリント版を令和2年3月9日に更新している。このほかに、機械学習においてしばしば用いられるマルコフ確率場の一つ、制限ボルツマンマシンについての研究も行った。制限ボルツマンマシンの推論および学習の計算には平均場近似が有効であることが知られており、上記の研究で扱った適応 TAP 近似をこれらの計算に応用することで何らかの貢献があることが期待されるが、現時点で明らかになっていることは少ない。これを明らかにするための第一ステップとして、制限ボルツマンマシンの確率変数の典型的な挙動を調べるため、レプリカ法を用いた解析を行った。この結果の一部を令和元年6月に行われた国際会議にて発表した。