広域環境における大規模データ処理の最適化

平成25年度の研究目的である、書き込み処理も考慮した、データ・マイグレーションとプロセス・マイグレーションを併用したハイブリット型マイグレーションアルゴリズムの開発を行った。具体的には、FMI (Fault Tolerant Messaging Interface)の開発を行った。これは、プロセスを別のマシン上に移動(プロセス・マイグレーション)することが可能であり、また、符号化技術(XOR encodingを使用)を用いることにより、プロセスが保持しているデータも同時にマイグレーション先のマシンへ移動(データ・マイグレーション)することが可能である。特に、データ・マイグレーションでは、従来、仮想マシンのマイグレーションなどで使用されるストレージを介することなく、直接メモリを介してデータをマイグレーションすることにより、高速なマイグレーションを実現した。一般に、既存のシステムにマイグレーション機能を備えると、それに伴うオーバーヘッドがかかってしまうが、FMIでは既存の通信ライブラリ(MPI)と比べ、遅延(MPI : 3.555usec, FMI : 3.573usec)、及びスループット(MPI : 3.227GB/s, 3.211GB/s)に於いて、共にMPIと同等の性能を備えている。このような、オーバーヘッドを最小限に抑え、且つ、データ・マイグレーションとプロセス・マイグレーションを同時に行う通信ライブラリは世界で初の試みである。実際、昨年度に引き続き、今年度も大変選別の厳しい国際会議IPDPS(採択率 : 21%)に採択(2014年5月に掲載確定)され、国際的に高く評価された。また、本研究課題で開発したFMIは、今後2018年ごろに登場が目されているエクサ・スケール・スーパーコンピュータ(一秒間に1018回の浮動小数点演算を行うマシン)の耐障害技術への応用が可能であり、HPC分野においてますます注目を集めつつ有り、国際的インパクトは非常に高い。

平成25年度の研究目的である、書き込み処理も考慮した、データ・マイグレーションとプロセス・マイグレーションを併用したハイブリット型マイグレーションアルゴリズムの開発を行った。具体的には、FMI (Fault Tolerant Messaging Interface)の開発を行った。これは、プロセスを別のマシン上に移動(プロセス・マイグレーション)することが可能であり、また、符号化技術(XOR encodingを使用)を用いることにより、プロセスが保持しているデータも同時にマイグレーション先のマシンへ移動(データ・マイグレーション)することが可能である。特に、データ・マイグレーションでは、従来、仮想マシンのマイグレーションなどで使用されるストレージを介することなく、直接メモリを介してデータをマイグレーションすることにより、高速なマイグレーションを実現した。一般に、既存のシステムにマイグレーション機能を備えると、それに伴うオーバーヘッドがかかってしまうが、FMIでは既存の通信ライブラリ(MPI)と比べ、遅延(MPI : 3.555usec, FMI : 3.573usec)、及びスループット(MPI : 3.227GB/s, 3.211GB/s)に於いて、共にMPIと同等の性能を備えている。このような、オーバーヘッドを最小限に抑え、且つ、データ・マイグレーションとプロセス・マイグレーションを同時に行う通信ライブラリは世界で初の試みである。実際、昨年度に引き続き、今年度も大変選別の厳しい国際会議IPDPS(採択率 : 21%)に採択(2014年5月に掲載確定)され、国際的に高く評価された。また、本研究課題で開発したFMIは、今後2018年ごろに登場が目されているエクサ・スケール・スーパーコンピュータ(一秒間に1018回の浮動小数点演算を行うマシン)の耐障害技術への応用が可能であり、HPC分野においてますます注目を集めつつ有り、国際的インパクトは非常に高い。