权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Application of Unconventional Linear Algebra Techniques to Continuous Learning in Supergiant Neural Networks

非常规线性代数技术在超巨神经网络连续学习中的应用

基本信息

批准号：
20K20624
负责人：
横田理央
金额：
$ 16.22万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Pioneering)
财政年份：
2020
资助国家：
日本
起止时间：
2020-07-30 至 2024-03-31
项目状态：
已结题

项目摘要

深層学習へ２次最適化を適用する際に課題となる大規模な密行列の分解を高速かつ並列に行うための新たな手法を複数開発した。大きさがNxNの密行列のLU分解はO(N^3)の計算量を要するが、HSS行列やH行列などの階層的低ランク近似法を用いることでその計算量をO(NlogN)もしくはO(N)に低減できる。しかし、HSS行列では弱許容条件を用いるため高次元の問題では非対角ブロックのランクがNとともに増大しO(N)の手法ではなくなるものおｎ、ULV分解の原理を応用することでブロック同士の依存性をなくし超並列で計算できる。また、H行列は強許容条件を用いるためランクの増大はないものの、非対角の密ブロックから生じるfill inによりULV分解の原理を用いたとしても超並列な行列分解ができない。本研究ではHSS-ULV分解の並列度とH行列のO(N)の計算量の両方を併せ持つH^2-ULV分解開発した。H^2行列はHSS行列と同様、行や列ブロックの基底を共有する。ただし、基底を共有しただけでは密ブロックから生じるfill inを防げないため、超並列なLU分解はそのままではできない。そこで、予めfill inを計算しておき、それらを行や列ブロックの基底に含めることで、ULV分解の際に生じるfill inを共有基底を更新することなく再圧縮でき、強許容条件を有しながらも超並列なLU分解を世界で初めて実現した。この成果は高性能計算分野のトップカンファレンスであるSC22に採択された。さらに、この研究から派生した研究として超並列性を利用したGPU実装への拡張(IJHPCAに投稿中)、テネシー大学のDongarra研究室との共同研究でPaRSECランタイムを用いた階層間の依存性の緩和(ICPPに投稿中)やLDL分解への拡張による電子状態計算における固有値解法への応用(ICPPに投稿中)などが挙げられる。

Deep learning is a two-time optimization method that is applicable to international projects and is a large-scale decomposition of dense rows and high-speed parallel rows and a new and complex method. Large NxN dense row and column decomposition of LU, O(N^3) calculation amount, HSS row and row, H row and row, and HSS row and row. The hierarchical low-level approximation method uses a low-reduction calculation method of O(NlogN) and O(N).しかし、HSS queue is weakly allowed condition を Use いるためHigh-dimensional problem では Non-対angle ブロックのランクがNとともに嗗大しO(N) The technique is the same as the principle of ULV decomposition, and the principle of ULV decomposition is the same as the dependency of the same person, and the super-parallel calculation is the same.また、H row はstrong permission condition を用いるためランクのincreasing large はないものの、non-対角の米ブロックから生じるfill The principle of inによりULV decomposition is the use of super parallel row and column decomposition. In this study, the degree of parallelism of HSS-ULV decomposition and the calculation amount of O(N) in HSS-ULV decomposition and the parallelism of H^2-ULV decomposition are determined. H^2 rows and columns, HSS rows and columns, and rows and columns share the same base.ただし、basisをshared しただけでは density ブロックから生じるfill inをanti-げないため, super-parallel なLU decomposition はそのままではできない.そこで、为めfill inをcalculationしておき、それらを行や行ブロックのbaseに contain めることで、ULV decomposition の国际に生じるfill inをshares the base and updates the world and compresses it again, and the strong tolerance condition is the super parallel and LU decomposition of the world. The result of this project is the high-performance computing division of the high-performance computing field, SC22. IJ PaRSE is jointly researched by HPCA (submission under submission) and Dongarra Laboratory of Tuscany University. Cランタイムを is used to alleviate the dependence between classes (ICPP is being submitted) and is used to decompose LDLによるElectron state calculationにおけるIntrinsic value solutionへの応用(ICPPにsubmission in progress)などが挙げられる.