CSMqGraph: Coarse-Grained and Multi-external-storage Multi-queue I/O Management for Graph Computing
CSMqGraph: Coarse-Grained and Multi-external-storage Multi-queue I/O Management for Graph Computing
复制标题
CSMqGraph：用于图计算的粗粒度、多外部存储、多队列 I/O 管理
DOI：
10.1007/s10766-019-00651-0
复制
发表时间：
2019-11
影响因子：
1.5
通讯作者：
Yu Ruili
中科院分区：
文献类型：
--
作者：
Chen Shuo;Shi Zhan;Feng Dan;Liu Shang;Wang Fang;Yang Lei;Yu Ruili
随着图形的不断增长，外部存储图形处理系统作为一个有前途的替代分布式内存解决方案的低成本和高可扩展性。为了获得高I/O吞吐量，这些系统通常使用多个外部存储设备。它们采用基于条带卷的操作系统I/O管理方法，导致性能不理想，如每个外部存储设备的顺序带宽利用率低、I/O并行度有限和管理开销昂贵。分析了基于条带卷的操作系统I/O管理方法存在的问题。设计了CSMqGraph图形处理系统，该系统采用粗粒度条带化方法匹配顺序大I/O，充分利用每个外部存储设备的最大顺序带宽;采用基于多外部存储多队列的I/O管理策略，使I/O线程专用于每个外部存储设备，进一步提高I/O吞吐量，充分利用多外部存储设备的并行性。对于不同的图算法和数据集，我们的评估表明，CSMqGraph始终优于最先进的引擎GridGraph高达40%，并具有更好的I/O可扩展性。
As graphs continue growing, external storage graph processing systems serve as a promising alternative to distributed in-memory solutions for low cost and high scalability. To obtain high I/O throughput, these systems usually use multiple external storage devices. They adopt the operating system I/O management method based on striped volume, resulting in unsatisfactory performance, such as low sequential bandwidth utilization of each external storage device, limited I/O parallelism and expensive management overhead. In this paper, we analyzed the problems of the operating system I/O management method based on striped volume. Then we designed CSMqGraph, a graph processing system adopts coarse-grained striping method matching sequential large I/O to fully utilize the maximum sequential bandwidth of each external storage device and an I/O management strategy based on multi-external-storage multi-queue making I/O threads dedicated to each external storage device to further improve I/O throughput and fully exploit the parallelism of multiple external storage devices. For different graph algorithms and datasets, our evaluation shows that CSMqGraph consistently outperforms state-of-the-art engines GridGraph by up to 40%, and has better I/O scalability.
登录
查看更多内容
DOI：
10.1109/tpds.2017.2703904
发表时间：
2018-07
影响因子：
5.3
作者：
Rong Chen;Youyang Yao;Peng Wang;Kaiyuan Zhang;Zhaoguo Wang;Haibing Guan;B. Zang;Haibo Chen
通讯作者：
Rong Chen;Youyang Yao;Peng Wang;Kaiyuan Zhang;Zhaoguo Wang;Haibing Guan;B. Zang;Haibo Chen
DOI：
--
发表时间：
2014-08
期刊：
ArXiv
影响因子：
--
作者：
Da Zheng;Disa Mhembere;R. Burns;J. Vogelstein;C. Priebe;A. Szalay
通讯作者：
Da Zheng;Disa Mhembere;R. Burns;J. Vogelstein;C. Priebe;A. Szalay
DOI：
--
发表时间：
2012-10
期刊：
--
影响因子：
--
作者：
Aapo Kyrola;G. Blelloch;Carlos Guestrin
通讯作者：
Aapo Kyrola;G. Blelloch;Carlos Guestrin
DOI：
10.1145/2815400.2815408
发表时间：
2015-10
期刊：
Proceedings of the 25th Symposium on Operating Systems Principles
影响因子：
--
作者：
Amitabha Roy;Laurent Bindschaedler;Jasmina Malicevic;W. Zwaenepoel
通讯作者：
Amitabha Roy;Laurent Bindschaedler;Jasmina Malicevic;W. Zwaenepoel
影响因子：
64.8
作者：
Jeong, H;Mason, SP;Oltvai, ZN
通讯作者：
Oltvai, ZN