Hadoop海量数据迁移系统开发及应用
Hadoop海量数据迁移系统开发及应用
复制标题
DOI：
10.3778/j.issn.1002-8331.1803-0095
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
石京燕
中科院分区：
文献类型：
--
作者：
尹乔;魏占辰;黄秋兰;孙功星;石京燕
当前高能物理实验产生的数据量越来越大,利用大数据处理平台Hadoop进行高能物理数据处理时,面临数据迁移的实际需求,而现有迁移工具不支持HDFS与其他文件系统间的数据传输,性能存在明显缺陷。从高能物理数据同步、归档等需求出发,设计和实现了一个通用的海量数据迁移系统,通过扩展HDFS数据访问方式,使用Map-Reduce直接在HDFS数据节点和其他存储系统/介质之间迁移数据。此外,系统设计实现了动态优先级调度模型,进行多任务的动态优先级评定和选取。该系统已经应用于大型高海拔空气簇射观测站(LHAASO)宇宙线等物理实验中的数据迁移,实际运行结果表明系统性能良好,能够满足各个实验的数据迁移需求。