Navigating the Unexpected Realities of Big Data Transfers in a Cloud-based World
Navigating the Unexpected Realities of Big Data Transfers in a Cloud-based World
复制标题
在基于云的世界中应对大数据传输的意外现实
DOI：
10.1145/3219104.3229276
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Carpenter, Charles
中科院分区：
文献类型：
--
作者：
Rivera, Sergio;Griffioen, James;Fei, Zongming;Hayashida, Mami;Shi, Pinyi;Chitre, Bhushan;Chappell, Jacob;Song, Yongwook;Pike, Lowell;Carpenter, Charles
大数据的出现为研究人员将大数据集跨校园网络传输到本地（HPC）云资源或跨广域网传输到公共云服务带来了新的挑战。与传统的HPC系统不同，在传统的HPC系统中，网络被仔细地架构（例如，高速本地互连，或数据传输节点之间的广域连接），今天的大数据通信经常发生在共享的网络基础设施上，有许多外部和不可控的因素影响性能。本文描述了我们的努力，以了解和表征各种大数据传输工具，如rclone，cyberduck，以及其他特定于提供商的CLI工具。我们分析了这些工具中每个工具上可用的各种参数设置及其对性能的影响。我们的实验结果提供了对云提供商和传输工具的性能的见解，并为使用云传输工具时的参数设置提供指导。我们还探讨了来自HPC DTN节点以及位于校园网络深处的研究人员机器的性能，并表明新兴的SDN方法（如VIP Lanes系统）即使在研究人员的机器上也可以提供出色的性能。
The emergence of big data has created new challenges for researchers transmitting big data sets across campus networks to local (HPC) cloud resources, or over wide area networks to public cloud services. Unlike conventional HPC systems where the network is carefully architected (e.g., a high speed local interconnect, or a wide area connection between Data Transfer Nodes), today's big data communication often occurs over shared network infrastructures with many external and uncontrolled factors influencing performance.This paper describes our efforts to understand and characterize the performance of various big data transfer tools such as rclone, cyberduck, and other provider-specific CLI tools when moving data to/from public and private cloud resources. We analyze the various parameter settings available on each of these tools and their impact on performance. Our experimental results give insights into the performance of cloud providers and transfer tools, and provide guidance for parameter settings when using cloud transfer tools. We also explore performance when coming from HPC DTN nodes as well as researcher machines located deep in the campus network, and show that emerging SDN approaches such as the VIP Lanes system can deliver excellent performance even from researchers' machines.
DOI：
10.1109/cloudnet.2016.16
发表时间：
2016-10
期刊：
2016 5th IEEE International Conference on Cloud Networking (Cloudnet)
影响因子：
--
作者：
V. Persico;Antonio Montieri;A. Pescapé
通讯作者：
V. Persico;Antonio Montieri;A. Pescapé
集群化可靠的文件传输服务
DOI：
--
发表时间：
2007
期刊：
影响因子：
--
作者：
J. Basney;P. Duda
通讯作者：
P. Duda
VIP 通道：授权流的高速自定义通信路径
DOI：
10.1109/icccn.2017.8038429
发表时间：
2017
期刊：
2017 26th International Conference on Computer Communication and Networks (ICCCN)
影响因子：
--
作者：
James N. Griffioen;K. Calvert;Zongming Fei;Sergio Rivera;Jacob Chappell;M. Hayashida;Charles Carpenter;Yongwook Song;Hussamuddin Nasir
通讯作者：
Hussamuddin Nasir