Application of Unconventional Linear Algebra Techniques to Continuous Learning in Supergiant Neural Networks

点击翻译按钮获取中文摘要

深層学習へ２次最適化を適用する際に課題となる大規模な密行列の分解を高速かつ並列に行うための新たな手法を複数開発した。大きさがNxNの密行列のLU分解はO(N^3)の計算量を要するが、HSS行列やH行列などの階層的低ランク近似法を用いることでその計算量をO(NlogN)もしくはO(N)に低減できる。しかし、HSS行列では弱許容条件を用いるため高次元の問題では非対角ブロックのランクがNとともに増大しO(N)の手法ではなくなるものおｎ、ULV分解の原理を応用することでブロック同士の依存性をなくし超並列で計算できる。また、H行列は強許容条件を用いるためランクの増大はないものの、非対角の密ブロックから生じるfill inによりULV分解の原理を用いたとしても超並列な行列分解ができない。本研究ではHSS-ULV分解の並列度とH行列のO(N)の計算量の両方を併せ持つH^2-ULV分解開発した。H^2行列はHSS行列と同様、行や列ブロックの基底を共有する。ただし、基底を共有しただけでは密ブロックから生じるfill inを防げないため、超並列なLU分解はそのままではできない。そこで、予めfill inを計算しておき、それらを行や列ブロックの基底に含めることで、ULV分解の際に生じるfill inを共有基底を更新することなく再圧縮でき、強許容条件を有しながらも超並列なLU分解を世界で初めて実現した。この成果は高性能計算分野のトップカンファレンスであるSC22に採択された。さらに、この研究から派生した研究として超並列性を利用したGPU実装への拡張(IJHPCAに投稿中)、テネシー大学のDongarra研究室との共同研究でPaRSECランタイムを用いた階層間の依存性の緩和(ICPPに投稿中)やLDL分解への拡張による電子状態計算における固有値解法への応用(ICPPに投稿中)などが挙げられる。