Job-Aware Optimization of File Placement in Hadoop
Job-Aware Optimization of File Placement in Hadoop
复制标题
Hadoop 中文件放置的作业感知优化
DOI：
10.1109/compsac.2019.10284
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Yamaguchi, Saneyasu
中科院分区：
文献类型：
--
作者：
Nakagami, Makoto;Fortes, Jose A.;Yamaguchi, Saneyasu
Hadoop是一个流行的基于MapReduce模型的数据分析平台。在分析超大数据时，通常使用硬盘驱动器，可以通过提高I/O性能来优化Hadoop性能。硬盘驱动器具有不同的性能取决于数据是否被放置在外部或内部磁盘区域。在本文中，我们提出了一种方法，使用作业特性的知识，将数据放在硬盘驱动器，使Hadoop的性能得到提高。将集中且顺序地访问存储设备的作业的文件放置在具有比内部轨道更高的顺序访问速度的外部磁盘轨道中。临时文件和永久文件分别放置在外部区域和内部区域。这通过避免永久文件使用最快的区域来实现对更快区域的重复使用。我们的评估表明，所提出的方法提高了15.0%的Hadoop作业的性能比正常情况下，不使用文件放置。所提出的方法也优于先前提出的放置方法9.9%。
Hadoop is a popular data-analytics platform based on the MapReduce model. When analyzing extremely big data, hard disk drives are commonly used and Hadoop performance can be optimized by improving I/O performance. Hard disk drives have different performance depending on whether data are placed in the outer or inner disk zones. In this paper, we propose a method that uses knowledge of job characteristics to place data in hard disk drives so that Hadoop performance is improved. Files of a job that intensively and sequentially accesses the storage device are placed in outer disk tracks which have higher sequential access speed than inner tracks. Temporary and permanent files are placed in the outer and inner zones, respectively. This enables repeated usage of the faster zones by avoiding the use of the fastest zones by permanent files. Our evaluation demonstrates that the proposed method improves the performance of the Hadoop jobs by 15.0% over the normal case when file placement is not used. The proposed method also outperforms a previously proposed placement approach by 9.9%.
iSCSI存储访问跟踪系统
DOI：
--
发表时间：
2005
期刊：
International Symposium on Applications and the Internet
影响因子：
--
作者：
Saneyasu Yamaguchi;M. Oguchi;M. Kitsuregawa
通讯作者：
M. Kitsuregawa
提高HadoopReduce阶段I/O性能的动态文件放置控制
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
Eita Fujishima;Saneyasu Yamaguchi
通讯作者：
Saneyasu Yamaguchi
长延迟环境下的iSCSI分析系统和顺序访问的性能改进
DOI：
--
发表时间：
2006
期刊：
LECTRONICS and COMMUNICATIONS in JAPAN (Part 3 : Fundamental Electronic Science) VOLUME 89, NUMBER 4
影响因子：
--
作者：
Saneyasu Yamaguchi;Masato Oguchi;Masaru Kitsuregawa
通讯作者：
Masaru Kitsuregawa