ハイブリッド混合精度処理によるエクサスケール反復解法ライブラリの開発

使用混合混合精度处理开发百亿亿次迭代解决方案库

• 批准号: 22K12053
• 负责人: 伊奈 拓也
• 金额: $ 2.5万
• 依托单位: Japan Atomic Energy Agency
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12053/
• 关键词: クリロフ部分空間法; 混合精度演算; SYCL; 高性能計算

2022年度はDOT、AXPY等の基本演算を対象として、半精度、単精度、倍精度、4倍精度によるデータ型と演算精度の任意の組み合わせを可能とするハイブリッド混合精度処理をSYCLにより実装して共役勾配法(CG法)に対して演算性能と演算精度の評価を行った。SYCLを採用することで単一のソースコードで様々なCPU/GPUアーキテクチャに対応可能となり、作業工数の削減を実現した。A64FX、Nvidia GPU、Intel CPU環境において、開発したSYCL版CG法コードの性能評価を実施した。その結果、従来のFortran、C/C++、CUDAコードと比較して半精度、単精度、倍精度、4倍精度で同程度の性能を得られることを確認した。また、ハイブリッド混合精度処理の検証をSuiteSparse Matrix Collectionの行列データに対して実施し、4倍精度演算+倍精度データ型を利用することで収束性が改善するケースを確認した。これにより実アプリの行列に対するハイブリッド混合精度処理の有効性を示した。これに加えて、半精度ヤコビ前処理における行列データの低精度変換による収束性悪化を回避する新たなデータ変換手法を開発した。ヤコビ法が収束するための十分条件は対角優位性であるが、ポアソン方程式の差分計算のような既約優対角の行列を低精度に変換すると丸め誤差により対角優位性が崩れてしまい、収束性が悪化する場合がある。そのため、対角優位性を維持するように対角要素の絶対値が大きくなる方向に丸め、非対角要素をゼロ方向に丸めるデータ変換を開発し、収束性の維持を実現した。この結果はHPC Asia 2023国際会議で発表され、Best Paper Finalistに選ばれた。

In 2022, the evaluation of DOT, AXPY, and other basic algorithms was carried out with respect to arbitrary combinations of computational accuracy, semi-precision, single-precision, and quadruple-precision. SYCL uses a single CPU/GPU to reduce the number of jobs that can be done. A64FX, Nvidia GPU, Intel CPU environment, development, SYCL version CG method, performance evaluation Results, Fortran, C/C++, CUDA, Comparison, Semi-precision, Single precision, Double precision, Quadruple precision, Same level of performance To verify the alignment of SuiteSparse Matrix Collection, use of 4-fold precision calculation + multiple precision processing, and improve the convergence. This is the first time I've ever seen a woman. This is the first time that a new method of image transformation has been developed. In the case where the ten-point condition of the convergence method is optimal for the opposite angle, the convergence is optimal for the difference calculation of the equation, and the convergence error is optimal for the opposite angle. For example, if the angle of rotation is different from the angle of rotation, the angle of rotation is different from the angle of rotation, and the angle of rotation is different. The results were presented at HPC Asia 2023 International Conference and selected as Best Paper Finalist.

项目成果

CPU+GPU混成システム上の固有値計算ソルバーの現状調査と性能評価

CPU+GPU混合系统特征值计算求解器现状调查及性能评估

• 发表时间: 2022
• 期刊: 情報処理学会研究報告: ハイパフォーマンスコンピューティング
• 作者: 今村 俊幸;伊奈 拓也;廣田 悠輔. 井戸村 泰宏
• 通讯作者: 廣田 悠輔. 井戸村 泰宏

A new data conversion method for mixed precision Krylov solvers with FP16/BF16 Jacobi preconditioners

具有 FP16/BF16 Jacobi 预处理器的混合精度 Krylov 求解器的新数据转换方法

• DOI: 10.1145/3578178.3578222
• 发表时间: 2023
• 期刊: HPC Asia 2023
• 作者: Ina Takuya;Idomura Yasuhiro;Imamura Toshiyuki;Onodera Naoyuki
• 通讯作者: Onodera Naoyuki

多相CFDシミュレーションにおける悪条件行列に対するGPU向けBFloat16精度前処理の検証

验证多相 CFD 仿真中病态矩阵的 GPU BFloat16 精度预处理

• 发表时间: 2022
• 作者: Ina Takuya;Idomura Yasuhiro;Imamura Toshiyuki;Onodera Naoyuki;伊奈 拓也,井戸村 泰宏,今村 俊幸,山下 晋,小野寺 直幸
• 通讯作者: 伊奈 拓也,井戸村 泰宏,今村 俊幸,山下 晋,小野寺 直幸