次世代データサイエンスのための不揮発性メモリを用いたストレージシステムの研究

点击翻译按钮获取中文摘要

近年登場した不揮発性メモリ(PMEM)は，従来のハードディスクやSSD等のストレージデバイスとは違うデバイス特性を持っており，既存のストレージシステムでは性能を最大限引き出せない問題がある．このPMEMデバイスを計算ノードに搭載したスーパーコンピュータが登場しているが，既存のストレージシステムからは有効に活用できていない．これらの問題を解決するため，本研究では，HPC分野で広く利用されているMPI-IOから計算ノードローカルのPMEMを利用可能にするストレージシステムの研究を行った．MPI-IOを用いることで，既にMPI-IOを利用しているアプリケーションのコードを変更することなくI/O高速化が可能となる．MPI-IOを直接利用していないが，MPI-IOを前提としているHDF5やnetCDFを利用しているアプリケーションの高速化もまた可能である．これまでに，MPI-IOから直接PMEMを利用可能にするMPI-IO/PMEMと，PMEMに最適化された分散ファイルシステムCHFSをMPI-IOから利用可能にするMPI-IO/CHFSを開発し，性能評価を行った．MPI-IO/PMEMは，PMEMに最適化した故障時に不整合が発生しない専用のファイルデータ構造を設計し実装した．その結果，MPI-IO/PMEMは，IORの書き込みにおいて既存のストレージシステムであるXFS-DAXと比べ，4.39倍である10.35 GiB/sのピークスループットを達成した．MPI-IO/CHFSは，IORの評価に加えてHPCの実アプリケーションであるRDBenchとLESBenchでの評価を行った．RDBenchはMPI-IOを利用する典型的なHPCアプリケーションであり，ストレージ性能を評価することを目的としたベンチマークとして本研究において開発した．