次世代データサイエンスのための不揮発性メモリを用いたストレージシステムの研究

用于下一代数据科学的使用非易失性存储器的存储系统研究

• 批准号: 22K17897
• 负责人: 平賀 弘平
• 金额: $ 2.91万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17897/
• 关键词: ストレージ; 不揮発性メモリ; 並列IO; HPC; MPI-IO; ストレージシステム

近年登場した不揮発性メモリ(PMEM)は，従来のハードディスクやSSD等のストレージデバイスとは違うデバイス特性を持っており，既存のストレージシステムでは性能を最大限引き出せない問題がある．このPMEMデバイスを計算ノードに搭載したスーパーコンピュータが登場しているが，既存のストレージシステムからは有効に活用できていない．これらの問題を解決するため，本研究では，HPC分野で広く利用されているMPI-IOから計算ノードローカルのPMEMを利用可能にするストレージシステムの研究を行った．MPI-IOを用いることで，既にMPI-IOを利用しているアプリケーションのコードを変更することなくI/O高速化が可能となる．MPI-IOを直接利用していないが，MPI-IOを前提としているHDF5やnetCDFを利用しているアプリケーションの高速化もまた可能である．これまでに，MPI-IOから直接PMEMを利用可能にするMPI-IO/PMEMと，PMEMに最適化された分散ファイルシステムCHFSをMPI-IOから利用可能にするMPI-IO/CHFSを開発し，性能評価を行った．MPI-IO/PMEMは，PMEMに最適化した故障時に不整合が発生しない専用のファイルデータ構造を設計し実装した．その結果，MPI-IO/PMEMは，IORの書き込みにおいて既存のストレージシステムであるXFS-DAXと比べ，4.39倍である10.35 GiB/sのピークスループットを達成した．MPI-IO/CHFSは，IORの評価に加えてHPCの実アプリケーションであるRDBenchとLESBenchでの評価を行った．RDBenchはMPI-IOを利用する典型的なHPCアプリケーションであり，ストレージ性能を評価することを目的としたベンチマークとして本研究において開発した．

In recent years, the introduction of non-volatile media (PMEM), such as the future of the United States and SSD, such as the development of the United States and other countries to maintain the characteristics of the existing development of the United States and other countries to maximize the performance of the problem. The PMEM model is designed to be used in a variety of ways. This study aims to solve the problem of HPC segmentation, MPI-IO utilization, computing and PMEM utilization. MPI-IO utilization, MPI-IO utilization, computing and PMEM utilization, MPI-IO utilization, and I/O speed-up. MPI-IO is a prerequisite for HDF5 and netCDF utilization. MPI-IO/PMEM is optimized for decentralized CHFS, MPI-IO/CHFS is optimized for MPI-IO, PMEM is optimized for failure, MPI-IO/PMEM is optimized for non-integrated CHFS, and PMEM is optimized for performance evaluation. As a result, MPI-IO/PMEM has achieved a 4.39-fold ratio of XFS-DAX to IOR's existing HPC model. MPI-IO/CHFS has achieved a 4.39-fold ratio of XFS-DAX to IOR's existing HPC model.MPI-IO/CHFS has achieved a 4.35-fold ratio of XFS-DAX to IOR's existing HPC model.MPI-IO/CHFS has achieved a 4.39-fold ratio of XFS-DAX to XFS-DAX's existing HPC model. MPI-IO/CHFS has achieved a 4.39-fold ratio of XFS-DAX to XFS-DAX's existing HPC model. MPI-IO/CHFS has achieved a 4.39-fold ratio of XFS-DAX to XFS-DAX's existing HPC model. The purpose of this study is to evaluate the performance of the project.

项目成果

MPI-IO/CHFS: ノードローカル不揮発性メモリを活用するアドホック分散ファイルシステムのためのMPI-IOの設計

MPI-IO/CHFS：为利用节点本地非易失性内存的临时分布式文件系统设计 MPI-IO

• 发表时间: 2022
• 作者: 平賀 弘平;建部 修見
• 通讯作者: 建部 修見

HPC環境を想定した探索的データ解析におけるノードローカルストレージの利用の検討

考虑在假设 HPC 环境的探索性数据分析中使用节点本地存储

• 发表时间: 2022
• 作者: 巨畠 和樹;小山 創平;平賀 弘平;建部 修見
• 通讯作者: 建部 修見

rdbench

测试台