PCクラスタにおける大規模並列入出力に関する研究

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究開発機構システム計算科学センターで開発された異機種計算機間通信ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うための機能拡張と性能評価を行った。PCクラスタで利用可能な並列ファイルシステムであるPVFSは大規模な並列入出力機能を提供するが、異なる計算機からは利用できない。そこでStampiの持つ計算機間入出力機能を用い、PVFSへのリモート入出力機能を実現した。計算機間の入出力はリモート計算機上に起動した入出力を行うMPI-I/Oプロセスにより行われる。PVFSへの入出力はUNIXが提供する入出力関数とPVFSが提供するネイティブな入出力関数の両方が利用できるが、計算機間のデータ通信がボトルネックになる問題を抱えていた。そこで、MPI-I/Oプロセスに循環バッファ機構を導入した。この循環バッファは、各バッファ長とバッファの段数がユーザ・プログラムから変更できるようになっており、この二つのパラメタを変更し、計算機間入出力の性能が向上する組み合わせを調査し、最適な組み合わせを探した。この性能評価により、この循環バッファを用いることにより、循環バッファが保持できるデータ長以内であれば、このバッファに入出力操作並びに通信待ちになるデータを一時的に保持する事が出来、全体の性能が向上することを実証した。さらに数値計算で共通データ形式をサポートする入出力インタフェースでも利用可能にするために開発されたparallel netCDFインタフェースによる計算機間入出力機能について基本的な入出力関数の実装を試みた。さらにその性能を評価し、その有用性を実証すると共に、問題点を洗い出した。

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究開発機構システム計算科学センターで開発された異機種計算機間通信ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うための機能拡張と性能評価を行った。PCクラスタで利用可能な並列ファイルシステムであるPVFSは大規模な並列入出力機能を提供するが、異なる計算機からは利用できない。そこでStampiの持つ計算機間入出力機能を用い、PVFSへのリモート入出力機能を実現した。計算機間の入出力はリモート計算機上に起動した入出力を行うMPI-I/Oプロセスにより行われる。PVFSへの入出力はUNIXが提供する入出力関数とPVFSが提供するネイティブな入出力関数の両方が利用できるが、計算機間のデータ通信がボトルネックになる問題を抱えていた。そこで、MPI-I/Oプロセスに循環バッファ機構を導入した。この循環バッファは、各バッファ長とバッファの段数がユーザ・プログラムから変更できるようになっており、この二つのパラメタを変更し、計算機間入出力の性能が向上する組み合わせを調査し、最適な組み合わせを探した。この性能評価により、この循環バッファを用いることにより、循環バッファが保持できるデータ長以内であれば、このバッファに入出力操作並びに通信待ちになるデータを一時的に保持する事が出来、全体の性能が向上することを実証した。さらに数値計算で共通データ形式をサポートする入出力インタフェースでも利用可能にするために開発されたparallel netCDFインタフェースによる計算機間入出力機能について基本的な入出力関数の実装を試みた。さらにその性能を評価し、その有用性を実証すると共に、問題点を洗い出した。