Regular Deep Learning Models and Their Applications

点击翻译按钮获取中文摘要

本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。2022年度は、(1)正則な統計モデルの理論的性質の解析、(2)実践的な機械学習手法の構築、そして(3)実問題における評価に取り組み、それぞれの項目で研究成果を挙げることに成功した。研究項目(1), (2)において、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法の開発と、開発した分解手法がもつ性質と既存の線形代数的な分解手法との対応を解析した。これまでランクに着目して研究が進んできた行列・テンソル分解やそれに伴う低ランク近似に対して、新たなアプローチを導入することに成功した重要な研究成果であり、今後の拡張性も高い。さらに、研究項目(3)について、本研究で提案している正則モデルを用いた分子の電子波動関数を求める手法やその量子アルゴリズム開発についての共同研究を実施し、量子化学シミュレーションの実証に成功した。これによって、応用問題における提案アプローチの有効性が実証されたといえる。