広域環境における大規模データ処理の最適化

广域环境下大规模数据处理的优化

• 批准号: 12J08253
• 负责人: 佐藤 賢斗
• 金额: $ 1.15万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J08253/
• 关键词: スーパーコンピュータ; 大規模データ処理; チェックポイント・リスタート; プロセス・マイグレーション; Infiniband

平成25年度の研究目的である、書き込み処理も考慮した、データ・マイグレーションとプロセス・マイグレーションを併用したハイブリット型マイグレーションアルゴリズムの開発を行った。具体的には、FMI (Fault Tolerant Messaging Interface)の開発を行った。これは、プロセスを別のマシン上に移動(プロセス・マイグレーション)することが可能であり、また、符号化技術(XOR encodingを使用)を用いることにより、プロセスが保持しているデータも同時にマイグレーション先のマシンへ移動(データ・マイグレーション)することが可能である。特に、データ・マイグレーションでは、従来、仮想マシンのマイグレーションなどで使用されるストレージを介することなく、直接メモリを介してデータをマイグレーションすることにより、高速なマイグレーションを実現した。一般に、既存のシステムにマイグレーション機能を備えると、それに伴うオーバーヘッドがかかってしまうが、FMIでは既存の通信ライブラリ(MPI)と比べ、遅延(MPI : 3.555usec, FMI : 3.573usec)、及びスループット(MPI : 3.227GB/s, 3.211GB/s)に於いて、共にMPIと同等の性能を備えている。このような、オーバーヘッドを最小限に抑え、且つ、データ・マイグレーションとプロセス・マイグレーションを同時に行う通信ライブラリは世界で初の試みである。実際、昨年度に引き続き、今年度も大変選別の厳しい国際会議IPDPS(採択率 : 21%)に採択(2014年5月に掲載確定)され、国際的に高く評価された。また、本研究課題で開発したFMIは、今後2018年ごろに登場が目されているエクサ・スケール・スーパーコンピュータ(一秒間に1018回の浮動小数点演算を行うマシン)の耐障害技術への応用が可能であり、HPC分野においてますます注目を集めつつ有り、国際的インパクトは非常に高い。

The purpose of the study in 2005 was to consider the development of a new type of medical equipment. The development of FMI (Fault Tolerant Messaging Interface). This is the first time that a user has been able to access a database. Special, high-speed, high-speed, high-speed, General, Existing, and Common Communications (MPI), Transmission (MPI), Delay (MPI : 3.555usec, FMI : 3.573usec), and Common Communications (MPI : 3.227GB/s, 3.211GB/s) are all available for use in general and existing communications. This is the first time in the world that we've tried to communicate with each other In fact, last year's IPDPS(acquisition rate: 21%) was adopted by the International Conference (confirmed in May 2014), and this year's IPDPS was highly evaluated by the international community. This research project is expected to be launched in 2018, and the application of damage resistance technology (floating decimal point calculation of 1018 cycles in one second) will be very high.

项目成果

I/O acceleration with GPU for I/O-bound Applications

针对 I/O 密集型应用程序使用 GPU 进行 I/O 加速

• 发表时间: 2014
• 作者: Kento Sato;Akira Nukada;Naoya Maruyama;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka

Towards a Light-weight Non-blocking Checkpointing System

迈向轻量级非阻塞检查点系统

• 发表时间: 2012
• 作者: Kento Sato,、Adam Moody;Kathryn Mohror;Tbdd Gamblin;Bronis R. de Supinski;Naoya Maruyama;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka

Scalable multi-GPU 3-D FFT for TSUBAME 2.0 Supercomputer

• DOI: 10.1109/sc.2012.100
• 发表时间: 2012-11
• 期刊: 2012 International Conference for High Performance Computing, Networking, Storage and Analysis
• 作者: Akira Nukada;Kento Sato;S. Matsuoka

Design and Modeling of a Non-Blocking Checkpoint System

非阻塞检查点系统的设计和建模

• 发表时间: 2012
• 期刊: In Proceedings of the International Conference on HighPerformance Computing, Networking, Storage and Analysis (SC'12)
• 作者: Kento Sato;Adam Moody;Kathryn Mohror;Todd Gamblin;Bronis R. de Supinski;Naoya Maruyama;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka

Energy-aware I/O Optimization for Checkpoint and Restart on a NAND Flash Memory System

NAND 闪存系统上的检查点和重启的能量感知 I/O 优化

• DOI: 10.1145/2465813.2465822
• 发表时间: 2013
• 期刊: In the Workshop on Fault-Tolerance for HPC at Extreme Seale 2013 (FTXS2013) in conjunction with the Intemational Symposium on High Performance Parallel and Distributed Computing (HPDC13)
• 作者: Takafumi Saito;Kento Sato;Hitoshi Sato;Satoshi Matsuoka
• 通讯作者: Satoshi Matsuoka