Managing Cloud networking costs for data-intensive applications by provisioning dedicated network links
Managing Cloud networking costs for data-intensive applications by provisioning dedicated network links
复制标题
通过配置专用网络链接来管理数据密集型应用程序的云网络成本
DOI：
10.1145/3437359.3465563
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Brik, Vladimir
中科院分区：
文献类型：
--
作者：
Sfiligoi, Igor;Hare, Michael;Schultz, David;Würthwein, Frank;Riedel, Benedikt;Hutton, Tom;Barnet, Steve;Brik, Vladimir
许多科学的高吞吐量应用程序可以受益于云资源的弹性性质，特别是在需要缩短完成时间的情况下。成本考量通常是此类工作中的主要问题，网络通常是主要组成部分；对于数据密集型应用，出口网络成本可能超过计算成本。专用网络链路提供了一种降低网络成本的方法，但它们确实增加了复杂性。在本白皮书中，我们描述了支持IceCube生产计算的100 FP32 PFLOPS Cloud Burst，它使用Internet2 Cloud Connect服务来配置来自三大云提供商(即Amazon Web Services、Microsoft Azure和Google Cloud Platform)的多个逻辑专用网络链路，这些链路总共支持约100 Gbps的本地存储出口能力。它提供了有关资源调配过程的技术细节、此类设置的优势和局限性以及所产生的成本分析。
Many scientific high-throughput applications can benefit from the elastic nature of Cloud resources, especially when there is a need to reduce time to completion. Cost considerations are usually a major issue in such endeavors, with networking often a major component; for data-intensive applications, egress networking costs can exceed the compute costs. Dedicated network links provide a way to lower the networking costs, but they do add complexity. In this paper we provide a description of a 100 fp32 PFLOPS Cloud burst in support of IceCube production compute, that used Internet2 Cloud Connect service to provision several logically-dedicated network links from the three major Cloud providers, namely Amazon Web Services, Microsoft Azure and Google Cloud Platform, that in aggregate enabled approximately 100 Gbps egress capability to on-prem storage. It provides technical details about the provisioning process, the benefits and limitations of such a setup and an analysis of the costs incurred.
登录
查看更多内容
演示公有云内外的 100 Gbps
DOI：
10.1145/3311790.3399612
发表时间：
2020
期刊：
Practice and Experience in Advanced Research Computing (PEARC20
影响因子：
--
作者：
Sfiligoi, Igor
通讯作者：
Sfiligoi, Igor
使用 Chameleon、ExoGENI 和 Internet2 Cloud Connect 试验 AWS Direct Connect
DOI：
--
发表时间：
2019
期刊：
IEEE International Conference on Network Protocols
影响因子：
--
作者：
Paul Ruth;Mert Cevik
通讯作者：
Mert Cevik
应对在云中执行大规模计算集群的挑战
DOI：
10.1109/ccgrid.2018.00040
发表时间：
2018
期刊：
Cloud and Grid Computing
影响因子：
--
作者：
Posey, Brandon;Gropp, Christopher;Wilson, Boyd;McGeachie, Boyd;Padhi, Sanjay;Herzog, Alexander;Apon, Amy
通讯作者：
Apon, Amy
利用 Google 云平台进行按需紧急高性能计算
DOI：
10.1109/urgenthpc49580.2019.00008
发表时间：
2019
期刊：
2019 IEEE/ACM HPC for Urgent Decision Making (UrgentHPC
影响因子：
--
作者：
Posey, Brandon;Deer, Adam;Gorman, Wyatt;July, Vanessa;Kanhere, Neeraj;Speck, Dan;Wilson, Boyd;Apon, Amy
通讯作者：
Apon, Amy
SDX 架构：定性分析
DOI：
--
发表时间：
2016
期刊：
SoutheastCon
影响因子：
--
作者：
Joaquín Chung;H. Owen;Russ Clark
通讯作者：
Russ Clark