Hadoopに対し飛躍的性能向上を達成する大規模データ解析処理系の研究

研究比Hadoop实现大幅性能提升的大规模数据分析处理系统

基本信息

  • 批准号:
    12J07965
  • 负责人:
  • 金额:
    $ 1.15万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2012
  • 资助国家:
    日本
  • 起止时间:
    2012 至 2013
  • 项目状态:
    已结题

项目摘要

本年度は、前年度に開発した高多重非同期I/O化方式を適用したカラムストアエンジンならびにMapReduceエンジンにおいて、より大規模な環境での実験を進めた。カラムストアエンジンにおいては、72ディスクドライブを具備する計算機サーバおよび128台の計算機から構成されるストレージインテンシブな大規模クラスタシステムおいて、また、MapReduceエンジンにおいては128台の計算機から構成されるストレージインテンシブ大規模クラスタシステムにおいて、最大100倍以上の高速化の達成に成功し、両エンジンの有効性を明らかにした。また、カラムストアエンジンにおける遅延タプル再構築処理の非同期I/O化や、MapReduce処理エンジンにおけるネットワークも含めたI/O並列度の調整方式など、非同期I/O化方式の高度化に成功した。さらに、両エンジンにおいて、非同期I/O化方式を考慮したクエリ最適化方式、ならびに計算資源の最適調整方式等の検討および開発を進めた。また、年度前半から後半にかけては、開発を進めている両エンジンを用いて実データを利用した実証実験を行い、新たな課題を模索するとともに、実データに対する当該エンジンならびに当該非同期I/O化方式の有効性を明らかにした。年度後半には、研究成果を論文にまとめ、国内の学会において発表を行った。
This year, we have developed a high degree of asynchronous I/O application compared with the previous year. 72 computer servers equipped with 128 computer servers configured for large-scale computer servers, MapReduce computer servers configured for large-scale computer servers The maximum speed of more than 100 times is achieved successfully, and the performance of the equipment is clearly demonstrated. The adjustment method of asynchronous I/O parallelism in MapReduce processing was successfully optimized. In addition, the optimization method and the optimal adjustment method of computing resources should be considered in the development of asynchronous I/O. The first half of the year, the second half of the year, the third half of the year, the fourth half of the year, the year, the fourth half of the year, the fourth half of the year, the year, the fourth half of the year Annual half, research results paper, domestic society to develop

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Hadoopにおけるアウトオブオーダ型並列処理系の実装に関する一考察
Hadoop中乱序并行处理系统的实现研究
  • DOI:
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    山田浩之;合田和生;喜連川優
  • 通讯作者:
    喜連川優
Hadoopをはじめとする並列データ処理系へのアウトオブオーダ型実行方式の適用とその有効性の検証
乱序执行方法在Hadoop等并行数据处理系统中的应用及有效性验证
128ノード規模のストレージインテンシブクラスタ環境におけるアウトオブオーダ型並列データ処理系の性能評価と実データを用いた有効性の検証
128节点存储密集型集群环境下乱序并行数据处理系统的性能评估及使用真实数据验证有效性
  • DOI:
  • 发表时间:
    2014
  • 期刊:
  • 影响因子:
    0
  • 作者:
    山田浩之;合田和生;喜連川優
  • 通讯作者:
    喜連川優
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

山田 浩之其他文献

Time-prediction of an Onset of a Rainfall-induced Landslide Based on the Hybrid Monitoring of Surface Displacement and Groundwater level
基于地表位移和地下水位混合监测的降雨诱发滑坡发生时间预测
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    山田 浩之;佐々木 寿;成毛 志乃 小笠原 永久;渡邉聡,岩田直樹,中井真司,笹原克夫;笹原克夫,岩田直樹,吉川直孝,平岡伸隆,伊藤和也;KATSAUO SASAHARA
  • 通讯作者:
    KATSAUO SASAHARA
強誘電トンネル接合の抵抗スイッチング現象と不揮発性メモリ応用
铁电隧道结的电阻切换现象和非易失性存储器应用
  • DOI:
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    0
  • 作者:
    澤 彰仁;山田 浩之;福地 厚
  • 通讯作者:
    福地 厚
Development of an Unmanned Airboat for Monitoring of Lake Environment
湖泊环境监测无人飞行器的研制
  • DOI:
  • 发表时间:
    2014
  • 期刊:
  • 影响因子:
    0
  • 作者:
    海津裕;徳田治展;山田浩之;芋生憲司;山田 浩之;Yutaka Kaizu
  • 通讯作者:
    Yutaka Kaizu
Antithrombotic therapy in dental practice
牙科诊所中的抗血栓治疗
  • DOI:
    10.20663/iwateshigakukaishi.45.3_105
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小松 祐子;川井 忠;山田 浩之;千葉 俊美
  • 通讯作者:
    千葉 俊美
Analysis of incident and accident reports of the last five years in division of oral and maxillofacial surgery at Iwate Medical University
岩手医科大学口腔颌面外科近5年事故报告分析
  • DOI:
    10.20663/iwateshigakukaishi.45.2_71
  • 发表时间:
    2020
  • 期刊:
  • 影响因子:
    0
  • 作者:
    川井 忠;平野 大輔;古城 慎太郎;大橋 祐生;山田 浩之;宮本 郁也;山谷 元気;小野寺 慧;角田 直子;小松 祐子;齋藤 勇起;小泉 浩二;小原 瑞貴
  • 通讯作者:
    小原 瑞貴

山田 浩之的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('山田 浩之', 18)}}的其他基金

UAVVR生態系アーカイブに関する技術開発と教育・研究DX推進へ向けた展開
开发与 UAVVR 生态系统档案相关的技术以及促进教育/研究 DX 的开发
  • 批准号:
    23K25042
  • 财政年份:
    2024
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
アフリカにおけるNGO-アカデミア協働の経済学:マダガスカルのトイレプロジェクト
非洲非政府组织与学术界合作的经济学:马达加斯加厕所项目
  • 批准号:
    23K25517
  • 财政年份:
    2024
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
衝撃自壊材料による落下しても安全な小型無人機設計への挑戦
使用冲击自毁材料设计即使坠落也安全的小型无人机的挑战
  • 批准号:
    23K17797
  • 财政年份:
    2023
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
アフリカにおけるNGO-アカデミア協働の経済学:マダガスカルのトイレプロジェクト
非洲非政府组织与学术界合作的经济学:马达加斯加厕所项目
  • 批准号:
    23H00820
  • 财政年份:
    2023
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Technology development of ecosystem VR archives using UAV for education and research DX promotion
利用无人机进行教育和研究 DX 推广的生态系统 VR 档案技术开发
  • 批准号:
    22H03788
  • 财政年份:
    2022
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
ラティス構造の人工骨により自家骨移植なしで挑むハイブリッド型顎骨再建法の開発
开发使用晶格结构人工骨的混合颌骨重建方法,无需自体骨移植
  • 批准号:
    22K10132
  • 财政年份:
    2022
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Development Econometrics Rooted in Historical and Cultural Factors
植根于历史文化因素的发展计量经济学
  • 批准号:
    22K18534
  • 财政年份:
    2022
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
Development of multi-layer indentation method connecting micro and macro mechanical properties
连接微观和宏观力学性能的多层压痕方法的开发
  • 批准号:
    21H01221
  • 财政年份:
    2021
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Precision medicine for cardiovascular diseases by targeting clonal hematopoiesis of indeterminate potential via fetal programming
通过胎儿编程靶向不确定潜力的克隆造血,治疗心血管疾病的精准医学
  • 批准号:
    21K08037
  • 财政年份:
    2021
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Light and Shadow of Teacher's License Renewal System from the Teachers' Point of View
从教师的角度看教师续证制度的光与影
  • 批准号:
    20K02609
  • 财政年份:
    2020
  • 资助金额:
    $ 1.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了