PCクラスタにおける大規模並列入出力に関する研究

PC集群大规模并行输入输出研究

• 批准号: 15700079
• 负责人: 辻田 祐一
• 金额: $ 2.5万
• 依托单位: Kinki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700079/
• 关键词: Stampi; MPI-I; O; PVFS; circular buffer; parallel netCDF; ノンブロッキング入出力; マルチスレッド; 0; 非同期入出力

PCクラスタにおける大規模並列入出力を実現するため、日本原子力研究開発機構システム計算科学センターで開発された異機種計算機間通信ライブラリStampiに、新たにPCクラスタで大規模並列入出力を行うための機能拡張と性能評価を行った。PCクラスタで利用可能な並列ファイルシステムであるPVFSは大規模な並列入出力機能を提供するが、異なる計算機からは利用できない。そこでStampiの持つ計算機間入出力機能を用い、PVFSへのリモート入出力機能を実現した。計算機間の入出力はリモート計算機上に起動した入出力を行うMPI-I/Oプロセスにより行われる。PVFSへの入出力はUNIXが提供する入出力関数とPVFSが提供するネイティブな入出力関数の両方が利用できるが、計算機間のデータ通信がボトルネックになる問題を抱えていた。そこで、MPI-I/Oプロセスに循環バッファ機構を導入した。この循環バッファは、各バッファ長とバッファの段数がユーザ・プログラムから変更できるようになっており、この二つのパラメタを変更し、計算機間入出力の性能が向上する組み合わせを調査し、最適な組み合わせを探した。この性能評価により、この循環バッファを用いることにより、循環バッファが保持できるデータ長以内であれば、このバッファに入出力操作並びに通信待ちになるデータを一時的に保持する事が出来、全体の性能が向上することを実証した。さらに数値計算で共通データ形式をサポートする入出力インタフェースでも利用可能にするために開発されたparallel netCDFインタフェースによる計算機間入出力機能について基本的な入出力関数の実装を試みた。さらにその性能を評価し、その有用性を実証すると共に、問題点を洗い出した。

The Japanese Atomic Energy Research and Development Agency (JARDI) has developed a large-scale computer communication system called Stampi, and the Japanese Atomic Energy Research and Development Agency has developed a large-scale computer communication system called Stampi. PC can be used in parallel, PVFS can be used in large-scale and include power functions, and PC can be used in different ways. Stampi's computer input function is enabled, PVFS's output function is enabled. The input force between computers starts up on the computer. The input force between MPI-I/O starts up. PVFS input and output power is supplied by UNIX. PVFS input and output power is supplied The MPI-I/O system is designed to The cycle length, the number of segments of each segment, and the performance of computer input and output are investigated and optimized. This performance evaluation is based on the fact that the cycle is maintained within a certain period of time, and that the input power operation is maintained at a certain period of time, and that the overall performance is improved. The calculation of the common input power is based on the calculation of the input power of the parallel netCDF. The performance of the company was evaluated, and the usefulness of the company was demonstrated.

项目成果

MPI-I/O Operations to a Remote Computer Using Java

使用 Java 对远程计算机进行 MPI-I/O 操作

• 发表时间: 2005
• 期刊: Proceedings of the 11th International Conference on Parallel and Distributed Systems (ICPADS 2005), Volume II Workshops (IEEE Computer Society Press)
• 作者: Yuichi Tsujita;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

MPI-I/O with a Shared File Pointer Using a Parallel Virtual File System in Remote I/O Operations

具有共享文件指针的 MPI-I/O 在远程 I/O 操作中使用并行虚拟文件系统

• 发表时间: 2004
• 期刊: Distributed and Parallel Systems, Cluster and Grid Computing, Kluwer International Series in Engineering and Computer Science, Springer 777
• 作者: Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

Effective Overlap of Computation with I/O Operations in Remote MPI-I/O Operations Using a Multithreaded I/O Mechanism

使用多线程 I/O 机制实现远程 MPI-I/O 操作中计算与 I/O 操作的有效重叠

• 发表时间: 2005
• 期刊: Proceedings of Parallel and Distributed Computing and Networks (PDCN2005), ACTA Press
• 作者: Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;Yuichi Tsujita;辻田 祐一;Yuichi Tsujita
• 通讯作者: Yuichi Tsujita

辻田 祐一: "異機種計算機間通信ライブラリStampiにおける非同期I/O操作"情報処理学会研究報告. Vol. 2004 No. 20. 151-156 (2004)

Yuichi Tsujita：“异构计算机通信库 Stampi 中的异步 I/O 操作”日本信息处理学会研究报告 2004 年第 20 卷 151-156（2004）。

Realizing Effective MPI-I/O to a Remote Computer Using a Parallel Virtual File System

使用并行虚拟文件系统实现远程计算机的有效 MPI-I/O

• 发表时间: 2006
• 期刊: IEICE Transactions on Information and Systems E89-D, No.2
• 作者: Yuichi Tsujita