权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

メニーコア搭載スーパーコンピュータ上での超大規模グラフ処理のメモリ階層最適化基盤

用于多核超级计算机上超大规模图形处理的内存层次优化平台

基本信息

批准号：
14J11503
负责人：
白幡晃一
金额：
$ 0.58万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2014
资助国家：
日本
起止时间：
2014 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J11503/
关键词：
GPU 大規模グラフ処理 Map Reduce メモリ処理スーパーコンピューター

项目摘要

SNS解析、道路ネットワーク、スマートグリッド、創薬、遺伝子解析等多くの分野で超大規模グラフに対する高速処理が求められている。普及が進みつつあるメニーコアを搭載したスーパーコンピュータを想定し、超大規模グラフ処理における階層的なメモリ管理技術の提案を行った。メニーコア上のメモリに載り切らないデータを効率的に処理するため、分散・多階層メモリを抽象化可能なMapReduceモデルを想定し、CPUからメニーコアに対して自動的にグラフデータを分割しながら、メニーコア上での計算とCPU・メニーコア間の転送を最大限にオーバーラップさせる手法を提案した。TSUBAME2.5の1024ノード(12288CPUコア、3072GPU)上での評価において、3072GPUのメモリ容量を超えるグラフデータ(172億頂点、2749億枝)を、CPU上での実行に対して2.10倍の高速化(毎秒28億枝)を確認した。また、GPU搭載スーパーコンピュータ上でのMapReduce処理に利用可能な大規模GPU分散ソートを提案し、CPU上での実行に対して1.40倍の高速化を確認した。さらに、MapReduce型大規模データ処理の特性をより詳細に把握するため、メタゲノム相同性検索アプリケーションを種々のMapReduce処理系に実装し、我々の処理系が代表的な既存のMapReduce処理系に対して4.54倍の性能を確認した。別の分散メモリの仮想化方法としてAPGASプログラミング言語X10を用いた場合のGPUの使用による効果の検証も行い、格子QCDアプリケーションを用いた32GPU上での実験においてCPU上での実行に対して11.0倍の高速化を確認した。最重要カーネルの一つである超大規模グラフ処理に対して多階層メモリを活用する基盤技術の提案・開発によりエクストリーム・ビッグデータ処理に向けた要素技術の実現に貢献した。

SNS analysis, road traffic congestion, vehicle traffic, sub-analysis, and so on, there are many different fields, such as super-large-scale high-speed management. It is necessary to popularize the proposal for management technology on a large scale and on a large scale. On the basis of the information system, the information system is used to determine the accuracy of the information system. The distribution of multiple data sets is abstracted. It is possible that the MapReduce system wants to be determined, and that the CPU system can be used automatically. The system is divided into two parts, and the computer is used to calculate the maximum limit of the data. The proposed method is proposed. For example, the capacity of TSUBAME2.5 (12288CPU), 3072GPU (3072GPU), CPU (17.2 billion, 2749 billion), CPU (17.2 billion, 2749 billion), and the speed of high speed (28 seconds). For example, the GPU can use the large-scale GPU to disperse the proposal, and the speed of the CPU will be 1.40 times higher than that of the high-speed network. The characteristics of large-scale models such as MapReduce and MapReduce can be used to ensure that the performance of the existing MapReduce system is 4.54 times higher than that of the existing MOS system represented by the department of science. In this paper, we use the method of APGAS and GPU, and then use the grid of QCD and CPU to confirm the speed of the device. The most important thing is that the most important thing is to introduce a proposal for the active use of basic technology in the context of large-scale technology. This is the most important thing.