云计算Hadoop框架中高效迭代机制的研究
结题报告
批准号:
61201447
项目类别:
青年科学基金项目
资助金额:
24.0 万元
负责人:
朱颢东
依托单位:
学科分类:
F0113.信息获取与处理
结题年份:
2015
批准年份:
2012
项目状态:
已结题
项目参与者:
吴怀广、张素智、赵进超、李红婵、郭倩倩、贾春利、霍晓齐
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
云计算Hadoop框架作为一种专门处理海量数据的新式计算模型,近年来受到极大关注并成为智能信息处理领域的研究热点。然而,前期研究表明,该模型在迭代操作方面性能较低,这在一定程度上限制了其应用能力。为此,本项目将着重研究云计算Hadoop框架中的迭代功能,设计新的迭代机制,使其能够有效支持迭代操作。首先,以增强云计算Hadoop框架的迭代操作性能为目的,在该框架的基础上设计一种新的云计算Hadoop框架;然后针对新框架,为其设计新的迭代控制模块以及新的应用程序接口,以使用户能方便地实现迭代操作;随后,在新框架中设计迭代可重用数据的缓存和检索模块,以减少从Master结点频繁重复下载这类数据带来的I/O操作并在使用时快速定位它们;最后,根据迭代的特点,设计相应的任务调度和容错方法。相关研究的进展和突破,必将会进一步丰富云计算Hadoop框架理论体系,为高效地处理海量数据提供一种更有效的手段。
英文摘要
As a new special computation model for mass data processing, Hadoop framework for Cloud Computing has attracted great attention among domestic and abroad academic circles in recent years and become a research hotspot in intelligent information processing. However, the pre-project research results show that Hadoop framework can't effectively carry out iterative operation so that to some extent,its application ability is limited.This project will focus on the iteration function in Hadoop framework and design a new loop-iteration mechanism to efficiently support iterative operation.Firstly, we design a new Hadoop framework for Cloud Computing based on the old Hadoop framework in order to improve iterative operation performance.And then, according to the new framework we propose a new loop-iteration control module and an new application program interface to help users realize iterative operation more conveniently.Subsequently, we present the cache and index modules for iterative reusable data to reduce frequently load them from Master node and effectively index them form Slaver nodes. Lastly, we provide the corresponding task scheduling and fault-tolerant method according to the new loop-iteration mechanism.The progress and breakthrough of relevant researches in this project will further enrich the theoretical system of Hadoop framework for Cloud Computing and supply a more effective approach for mass data processing.
作为大数据时代的一种新型分布式软件框架,Hadoop已成为大数据处理的主流云计算平台,近年来受到极大关注并成为大数据处理领域的研究热点。然而,前期研究表明,该框架在处理大数据时迭代操作性能较低,这在一定程度上限制了其应用能力。为此,本项目主要研究Hadoop 框架中的迭代功能,设计新的循环迭代机制,使其能够有效支持迭代操作,具体研究内容如下:首先,以增强Hadoop 框架的迭代操作性能为目的,在传统Hadoop框架的基础上设计一种新的Hadoop 框架;然后针对新框架,为其设计新的迭代控制模块以及新的应用程序接口,以使用户能方便地实现迭代操作;随后,在新框架中设计迭代可重用数据的缓存和检索模块,以减少从Master结点频繁重复下载这类数据带来的I/O 操作并在使用时快速定位它们;最后,根据新的Hadoop 框架的迭代操作特点,为其设计相应的任务调度和容错方法。. 在研究过程中,主要所获研究成果如下:设计了一个继承传统Hadoop框架的新型E-Hadoop总体框架方案,给出了一个该总体框架的迭代主体模块设计方案并设计了相应的API模块;根据所设计的E-Hadoop总体框架,研究了其缓存和检索机制并设计了三类相应的缓存和检索模块。同时,研究了其任务调度和容错机制,设计了一个基于Multi-Agent的网络资源动态调度方法,并在此基础上继续深化,研究了适用于E-Hadoop总体框架的任务调度方法。另外,借助该项目所创建的E-Hadoop平台,项目组成员以及其他青年老师对海量图像处理、智能算法并行化、海量3D视频编码以及Web大数据挖掘等进行了研究,并获得了一些研究成果。. 相关研究的进展和突破不但会进一步丰富Hadoop 框架理论体系,为该框架的相关研究提供理论和应用价值,而且还有望为高效地解决大数据处理问题提供一种更有效的手段,从而增强我国在大数据处理方面的原始创新,进而在大数据处理基础研究与应用研究之间提供一个更有效的途径。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Feature Selection Method Based on Simplified Information Gain of ID3
基于ID3简化信息增益的特征选择方法
DOI:--
发表时间:2015
期刊:Journal of Computational Information Systems
影响因子:--
作者:Fubao ZHU;Ni YAO;Hongchan LI;Haodong ZHU
通讯作者:Haodong ZHU
Plant Leaves Extraction Method Undeer Complex Background Based on Closed-Form Matting Algorithm
基于闭式抠图算法的复杂背景下植物叶片提取方法
DOI:--
发表时间:2015
期刊:Journal of Computational Information Systems
影响因子:--
作者:Di Wu;Hongchan Li;Deshuang Huang;Bing Wang
通讯作者:Bing Wang
DOI:--
发表时间:2015
期刊:现代计算机(专业版)
影响因子:--
作者:张素智;张琳;曲旭凯
通讯作者:曲旭凯
DOI:--
发表时间:2015
期刊:微电子学与计算机
影响因子:--
作者:赵进超;李红婵;朱颢东
通讯作者:朱颢东
Text Feature Selection Applied by Improved SAA
改进的SAA应用文本特征选择
DOI:--
发表时间:2015
期刊:Journal of Computational Information Systems
影响因子:--
作者:Fubao ZHU;Hongchan LI;Ni YAO;Haodong ZHU
通讯作者:Haodong ZHU
国内基金
海外基金