メニーコア搭載スーパーコンピュータ上での超大規模グラフ処理のメモリ階層最適化基盤

SNS解析、道路ネットワーク、スマートグリッド、創薬、遺伝子解析等多くの分野で超大規模グラフに対する高速処理が求められている。普及が進みつつあるメニーコアを搭載したスーパーコンピュータを想定し、超大規模グラフ処理における階層的なメモリ管理技術の提案を行った。メニーコア上のメモリに載り切らないデータを効率的に処理するため、分散・多階層メモリを抽象化可能なMapReduceモデルを想定し、CPUからメニーコアに対して自動的にグラフデータを分割しながら、メニーコア上での計算とCPU・メニーコア間の転送を最大限にオーバーラップさせる手法を提案した。TSUBAME2.5の1024ノード(12288CPUコア、3072GPU)上での評価において、3072GPUのメモリ容量を超えるグラフデータ(172億頂点、2749億枝)を、CPU上での実行に対して2.10倍の高速化(毎秒28億枝)を確認した。また、GPU搭載スーパーコンピュータ上でのMapReduce処理に利用可能な大規模GPU分散ソートを提案し、CPU上での実行に対して1.40倍の高速化を確認した。さらに、MapReduce型大規模データ処理の特性をより詳細に把握するため、メタゲノム相同性検索アプリケーションを種々のMapReduce処理系に実装し、我々の処理系が代表的な既存のMapReduce処理系に対して4.54倍の性能を確認した。別の分散メモリの仮想化方法としてAPGASプログラミング言語X10を用いた場合のGPUの使用による効果の検証も行い、格子QCDアプリケーションを用いた32GPU上での実験においてCPU上での実行に対して11.0倍の高速化を確認した。最重要カーネルの一つである超大規模グラフ処理に対して多階層メモリを活用する基盤技術の提案・開発によりエクストリーム・ビッグデータ処理に向けた要素技術の実現に貢献した。

SNS解析、道路ネットワーク、スマートグリッド、創薬、遺伝子解析等多くの分野で超大規模グラフに対する高速処理が求められている。普及が進みつつあるメニーコアを搭載したスーパーコンピュータを想定し、超大規模グラフ処理における階層的なメモリ管理技術の提案を行った。メニーコア上のメモリに載り切らないデータを効率的に処理するため、分散・多階層メモリを抽象化可能なMapReduceモデルを想定し、CPUからメニーコアに対して自動的にグラフデータを分割しながら、メニーコア上での計算とCPU・メニーコア間の転送を最大限にオーバーラップさせる手法を提案した。TSUBAME2.5の1024ノード(12288CPUコア、3072GPU)上での評価において、3072GPUのメモリ容量を超えるグラフデータ(172億頂点、2749億枝)を、CPU上での実行に対して2.10倍の高速化(毎秒28億枝)を確認した。また、GPU搭載スーパーコンピュータ上でのMapReduce処理に利用可能な大規模GPU分散ソートを提案し、CPU上での実行に対して1.40倍の高速化を確認した。さらに、MapReduce型大規模データ処理の特性をより詳細に把握するため、メタゲノム相同性検索アプリケーションを種々のMapReduce処理系に実装し、我々の処理系が代表的な既存のMapReduce処理系に対して4.54倍の性能を確認した。別の分散メモリの仮想化方法としてAPGASプログラミング言語X10を用いた場合のGPUの使用による効果の検証も行い、格子QCDアプリケーションを用いた32GPU上での実験においてCPU上での実行に対して11.0倍の高速化を確認した。最重要カーネルの一つである超大規模グラフ処理に対して多階層メモリを活用する基盤技術の提案・開発によりエクストリーム・ビッグデータ処理に向けた要素技術の実現に貢献した。