Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究

研究比Hadoop实现大幅性能提升的大规模数据分析处理系统

• 批准号: 12J07965
• 负责人: 山田 浩之
• 金额: $ 1.15万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J07965/
• 关键词: 非同期I/O; カラムスト; MapReduce; 並列データ処理; 問合せ最適化; C-Store; Hadoop; カラムストア; データ処理

本年度は、前年度に開発した高多重非同期I/O化方式を適用したカラムストアエンジンならびにMapReduceエンジンにおいて、より大規模な環境での実験を進めた。カラムストアエンジンにおいては、72ディスクドライブを具備する計算機サーバおよび128台の計算機から構成されるストレージインテンシブな大規模クラスタシステムおいて、また、MapReduceエンジンにおいては128台の計算機から構成されるストレージインテンシブ大規模クラスタシステムにおいて、最大100倍以上の高速化の達成に成功し、両エンジンの有効性を明らかにした。また、カラムストアエンジンにおける遅延タプル再構築処理の非同期I/O化や、MapReduce処理エンジンにおけるネットワークも含めたI/O並列度の調整方式など、非同期I/O化方式の高度化に成功した。さらに、両エンジンにおいて、非同期I/O化方式を考慮したクエリ最適化方式、ならびに計算資源の最適調整方式等の検討および開発を進めた。また、年度前半から後半にかけては、開発を進めている両エンジンを用いて実データを利用した実証実験を行い、新たな課題を模索するとともに、実データに対する当該エンジンならびに当該非同期I/O化方式の有効性を明らかにした。年度後半には、研究成果を論文にまとめ、国内の学会において発表を行った。

This year, we have developed a high degree of asynchronous I/O application compared with the previous year. 72 computer servers equipped with 128 computer servers configured for large-scale computer servers, MapReduce computer servers configured for large-scale computer servers The maximum speed of more than 100 times is achieved successfully, and the performance of the equipment is clearly demonstrated. The adjustment method of asynchronous I/O parallelism in MapReduce processing was successfully optimized. In addition, the optimization method and the optimal adjustment method of computing resources should be considered in the development of asynchronous I/O. The first half of the year, the second half of the year, the third half of the year, the fourth half of the year, the year, the fourth half of the year, the fourth half of the year, the year, the fourth half of the year Annual half, research results paper, domestic society to develop

项目成果

Hadoopにおけるアウトオブオーダ型並列処理系の実装に関する一考察

Hadoop中乱序并行处理系统的实现研究

• 发表时间: 2013
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優

Hadoopをはじめとする並列データ処理系へのアウトオブオーダ型実行方式の適用とその有効性の検証

乱序执行方法在Hadoop等并行数据处理系统中的应用及有效性验证

• 发表时间: 2014
• 期刊: 電子情報通信学会論文誌
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優

128ノード規模のストレージインテンシブクラスタ環境におけるアウトオブオーダ型並列データ処理系の性能評価と実データを用いた有効性の検証

128节点存储密集型集群环境下乱序并行数据处理系统的性能评估及使用真实数据验证有效性

• 发表时间: 2014
• 作者: 山田浩之;合田和生;喜連川優
• 通讯作者: 喜連川優