课题基金 / 基金详情

Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究

Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究
研究比Hadoop实现大幅性能提升的大规模数据分析处理系统
批准号：
12J07965
负责人：
山田 浩之
金额：
$1.15万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2012
资助国家：
日本
项目状态：
已结题
起止时间：
2012 至 2013
来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J07965/
关键词：
非同期I/OカラムストMapReduce並列データ処理問合せ最適化C-StoreHadoopカラムストアデータ処理

项目摘要

项目成果

山田 浩之的其他基金

相关文献

中文摘要
翻译
点击翻译按钮获取中文摘要
英文摘要
本年度は、前年度に開発した高多重非同期I/O化方式を適用したカラムストアエンジンならびにMapReduceエンジンにおいて、より大規模な環境での実験を進めた。カラムストアエンジンにおいては、72ディスクドライブを具備する計算機サーバおよび128台の計算機から構成されるストレージインテンシブな大規模クラスタシステムおいて、また、MapReduceエンジンにおいては128台の計算機から構成されるストレージインテンシブ大規模クラスタシステムにおいて、最大100倍以上の高速化の達成に成功し、両エンジンの有効性を明らかにした。また、カラムストアエンジンにおける遅延タプル再構築処理の非同期I/O化や、MapReduce処理エンジンにおけるネットワークも含めたI/O並列度の調整方式など、非同期I/O化方式の高度化に成功した。さらに、両エンジンにおいて、非同期I/O化方式を考慮したクエリ最適化方式、ならびに計算資源の最適調整方式等の検討および開発を進めた。また、年度前半から後半にかけては、開発を進めている両エンジンを用いて実データを利用した実証実験を行い、新たな課題を模索するとともに、実データに対する当該エンジンならびに当該非同期I/O化方式の有効性を明らかにした。年度後半には、研究成果を論文にまとめ、国内の学会において発表を行った。
期刊论文(0)
专著(0)
科研奖励(0)
会议论文
Hadoopにおけるアウトオブオーダ型並列処理系の実装に関する一考察
Hadoop中乱序并行处理系统的实现研究
DOI： --
发表时间： 2013
期刊：
影响因子： --
作者： [山田浩之, 合田和生, 喜連川優]
通讯作者： 喜連川優
Hadoopをはじめとする並列データ処理系へのアウトオブオーダ型実行方式の適用とその有効性の検証
乱序执行方法在Hadoop等并行数据处理系统中的应用及有效性验证
DOI： --
发表时间： 2014
期刊： 電子情報通信学会論文誌
影响因子： --
作者： [山田浩之, 合田和生, 喜連川優]
通讯作者： 喜連川優
128ノード規模のストレージインテンシブクラスタ環境におけるアウトオブオーダ型並列データ処理系の性能評価と実データを用いた有効性の検証
128节点存储密集型集群环境下乱序并行数据处理系统的性能评估及使用真实数据验证有效性
DOI： --
发表时间： 2014
期刊：
影响因子： --
作者： [山田浩之, 合田和生, 喜連川優]
通讯作者： 喜連川優
UAVVR生態系アーカイブに関する技術開発と教育・研究DX推進へ向けた展開
  • 批准号：
    23K25042
  • 项目类别：
    Grant-in-Aid for Scientific Research (B)
  • 资助金额：
    $2.41万
  • 财政年份：
    2024
  • 负责人：
    山田 浩之
  • 依托单位：
    Hokkaido University
アフリカにおけるNGO－アカデミア協働の経済学：マダガスカルのトイレプロジェクト
  • 批准号：
    23K25517
  • 项目类别：
    Grant-in-Aid for Scientific Research (B)
  • 资助金额：
    $8.74万
  • 财政年份：
    2024
  • 负责人：
    山田 浩之
  • 依托单位：
    Keio University
衝撃自壊材料による落下しても安全な小型無人機設計への挑戦
アフリカにおけるNGO－アカデミア協働の経済学：マダガスカルのトイレプロジェクト
  • 批准号：
    23H00820
  • 项目类别：
    Grant-in-Aid for Scientific Research (B)
  • 资助金额：
    $11.9万
  • 财政年份：
    2023
  • 负责人：
    山田 浩之
  • 依托单位：
    Keio University