权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ＧＰＵクラスタを用いた半構造データの並列分散処理基盤の構築

利用GPU集群构建半结构化数据并行分布式处理平台

基本信息

批准号：
15J02121
负责人：
小澤佑介
金额：
$ 1.09万
依托单位：
National Institute of Advanced Industrial Science and Technology (2016)University of Tsukuba (2015)
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2015
资助国家：
日本
起止时间：
2015-04-24 至 2017-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15J02121/
关键词：
GPU グラフクラスタリングクラスタ分析

项目摘要

GPUクラスタを用いた並列分散データ処理の実現に向けて，GPUを用いたデータのクラスタ分析に関する研究を行なった．データのクラスタ分析を行ない，その結果を基にGPUクラスタの計算ノード上にデータを配置することで，分散処理中のノード間の通信を削減でき，効率的な処理が可能になると考えられる．具体的な研究成果は以下の通りである．前年度に開発したGPUを用いたグラフクラスタリング手法の拡張・改良を行った．具体的には以下の三つの点となる．(1) GPUメモリ上に乗り切るサイズのデータのみを対象としていたところを，GPUメモリ以上のサイズのデータも処理可能となるよう拡張した．提案手法では，一般的に性能のボトルネックとなりやすいCPUとGPU間のデータ転送を，GPU上での計算とオーバーラップして行うことでデータ転送による遅延をほぼ無しで処理可能としている．(2) さらに上記の手法を，GPUのみでなくCPUでも同時に処理を行うよう拡張した．これにより，以前は利用していなかった計算資源であるCPUも活用可能になりさらなる高速化が達成できる．(3) また，提案手法において必要となる集計処理の並列化の改良も行った．以前はGPUに適した処理であるデータ並列プリミティブを組み合わせて集計を実現していたところを，ロックフリーなハッシュ表を用いることで高速化を図った．これにより，並列化によって導入された余計な計算コストの削減が可能となる．実験により，これらの手法が既存手法と比較して数倍高速であることを確認した．

GPU's application for parallel distributed data processing and implementation direction, GPU's application for distributed data analysis and related research. Data analysis is carried out, and the results are based on GPU data allocation, data reduction, and efficient processing. Specific research results are as follows. In the past year, the GPU has been developed and improved. Specific (1)GPU The proposed method is to provide general performance and performance, and to provide data transmission between CPU and GPU, and to provide computing on GPU, and to provide data transmission between CPU and GPU. (2)The GPU and the CPU have to work together. CPU utilization is possible in order to achieve high speed. (3)The proposal method is necessary to improve the parallel processing of centralized processing. In the past, GPU technology has been used to improve the speed of data processing. The calculation of the residual value of the input data is based on the calculation of the possible reduction. This is the first time I've ever seen a woman.