Regular Deep Learning Models and Their Applications

常规深度学习模型及其应用

基本信息

批准号：
21H03503
负责人：
杉山麿人
金额：
$ 10.98万
依托单位：
National Institute of Informatics
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル（パラメータに関するフィッシャー情報量行列が特異行列になるモデル）に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。2022年度は、(1)正則な統計モデルの理論的性質の解析、(2)実践的な機械学習手法の構築、そして(3)実問題における評価に取り組み、それぞれの項目で研究成果を挙げることに成功した。研究項目(1), (2)において、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法の開発と、開発した分解手法がもつ性質と既存の線形代数的な分解手法との対応を解析した。これまでランクに着目して研究が進んできた行列・テンソル分解やそれに伴う低ランク近似に対して、新たなアプローチを導入することに成功した重要な研究成果であり、今後の拡張性も高い。さらに、研究項目(3)について、本研究で提案している正則モデルを用いた分子の電子波動関数を求める手法やその量子アルゴリズム開発についての共同研究を実施し、量子化学シミュレーションの実証に成功した。これによって、応用問題における提案アプローチの有効性が実証されたといえる。

这项研究旨在使用常规统计模型实现深层结构。深度学习已经成功，但已知现有方法是基于奇异的统计模型（在该模型中，用于参数的Fisher Information矩阵变为单数矩阵）。但是，由于单数模型很难对模型进行理论分析和优化，因此在各种问题中建立了各种深层模型和学习算法，从而导致统一质量保证和性能分析的困难。因此，在这项研究中，这个想法是直接在参数空间的坐标系中实现深层结构，并使用非单打常规模型实现深层结构。这一次解决了由单数模型引起的各种问题。在2022财政年度，我们致力于（1）分析常规统计模型，（2）构建实用的机器学习方法的理论特性以及（3）评估实际问题，并在每个类别中成功实现了研究结果。在研究项目（1）和（2）中，我们使用信息几何形状和构建实用算法对矩阵和张量分解方法进行了理论分析，并开发了一种新方法，将张量分解视为常规统计模型学习，并分析了开发的分解方法的特性，并对应于现有的线性algebra decomposition Decomposition decompostions方法。这是一项重要的研究发现，已成功引入了矩阵/张量分解的新方法，该方法已被研究以排名和伴随的低级别近似值进行了研究，并且将来是可扩展的。此外，在研究项目（3）方面，我们使用本研究中提出的常规模型和量子算法的发展进行了有关查找分子电子波函数的联合研究，并成功证明了量子化学仿真。这证明了拟议方法在应用问题中的有效性。