Fair sharing of network resources among workflow ensembles
Fair sharing of network resources among workflow ensembles
复制标题
工作流集合之间公平共享网络资源
DOI：
10.1007/s10586-021-03457-3
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Mandal, Anirban
中科院分区：
文献类型：
--
作者：
Papadimitriou, George;Lyons, Eric;Wang, Cong;Thareja, Komal;Tanaka, Ryan;Ruth, Paul;Rodero, Ivan;Deelman, Ewa;Zink, Michael;Mandal, Anirban
计算科学依赖于复杂的数据密集型应用程序，这些应用程序对来自各种科学仪器的数据集进行操作。一个主要的挑战是将数据整合到科学家的工作流程中。动态网络云资源的最新进展为构建可重新配置的端到端基础设施提供了构建模块，这些基础设施可以提高科学生产力，但应用程序并没有利用它们。在我们之前的工作中，我们引入了DyNamo，使CASA的科学家能够提高他们的运营效率，并毫不费力地利用他们以前未充分利用的云资源的功能。然而，所提供的工作流程自动化并不能满足小武器问题协调行动的所有业务要求。自定义脚本仍在生产中以管理工作流触发，而必须分配多个第2层连接以维持网络QoS要求。为了解决这些问题，我们通过先进的网络操作机制，端到端的基础设施监控和集成工作流管理功能来增强DyNamo系统。DyNamo的虚拟软件定义交换（vSDX）功能得到了扩展，实现了端点之间的链路自适应、流优先级和流量控制。这些新功能使我们能够为每个工作流集成执行网络QoS要求，并可以导致更公平的网络共享。此外，为了满足CASA的运营需求，我们扩展了新集成的Pegasus Ensemble Manager，其中包含基于事件的触发功能，从而改进了对CASA工作流集合的管理。Pegasus Ensemble Manager除了管理工作流集合之外，还可以通过采用节流技术来减少计算和网络资源争用，从而为更公平的资源使用创造条件。我们使用两个CASA工作流合奏竞争网络资源的DyNamo的vSDX政策的影响进行评估，我们表明，交通塑造的合奏可以导致更公平的共享网络链接。最后，我们研究了如何改变飞马Ensemble管理器的节流两个工作流集成影响他们的性能，而他们竞争相同的网络资源，我们评估这种方法是否是一个可行的替代方案相比，vSDX的政策。
Computational science depends on complex, data intensive applications operating on datasets from a variety of scientific instruments. A major challenge is the integration of data into the scientist’s workflow. Recent advances in dynamic, networked cloud resources provide the building blocks to construct reconfiguration, end-to-end infrastructure that can increase scientific productivity, but applications are not taking advantage of them. In our previous work, we introduced DyNamo, that enabled CASA scientists to improve the efficiency of their operations and effortlessly leverage capabilities of the cloud resources available to them that previously remained underutilized. However, the provided workflow automation did not satisfy all the operational requirements of CASA. Custom scripts were still in production to manage workflow triggering, while multiple layer 2 connections would have to be allocated to maintain network QoS requirements. To address these issues, we enhance the DyNamo system with advanced network manipulation mechanisms, end-to-end infrastructure monitoring and ensemble workflow management capabilities. DyNamo’s Virtual Software Defined Exchange (vSDX) capabilities have been extended, enabling link adaptation, flow prioritization and traffic control between endpoints. These new features allow us to enforce network QoS requirements for each workflow ensemble and can lead to more fair network sharing. Additionally, to accommodate CASA’s operational needs we have extended the newly integrated Pegasus Ensemble Manager with event based triggering functionality, that improves managing CASA’s workflow ensembles. The Pegasus Ensemble Manager, apart from managing the workflow ensembles can also create conditions for a more fair resource usage, by employing throttling techniques to reduce compute and network resource contention. We evaluate the effects of the DyNamo’s vSDX policies by using two CASA workflow ensembles competing for network resources, and we show that traffic shaping of the ensembles can lead to a fairer sharing of the network links. Finally, we study how changing the Pegasus Ensemble Manager’s throttling for each of the two workflow ensembles affects their performance while they compete for the same network resources, and we assess if this approach is a viable alternative compared to the vSDX policies.
登录
查看更多内容
在 ExoGENI 测试平台上实现实时域间网络服务
DOI：
10.1109/infcomw.2018.8407026
发表时间：
2018
期刊：
IEEE INFOCOM 2018 - IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS
影响因子：
--
作者：
Yao, Yuanjun;Cao, Qiang;Farias, Rubens;Chase, Jeff;Orlikowski, Victor;Ruth, Paul;Cevik, Mert;Wang, Cong;Buraglio, Nick
通讯作者：
Buraglio, Nick
下一代云、Chameleon 云测试台和软件定义网络 (SDN)
DOI：
10.1109/icccri.2015.10
发表时间：
2015
期刊：
2015 International Conference on Cloud Computing Research and Innovation (ICCCRI)
影响因子：
--
作者：
J. Mambretti;J. Chen;F. Yeh
通讯作者：
F. Yeh
使用主动自省 RADII 调整网络云上的科学工作流程：弥合数据和基础设施管理之间的鸿沟以支持数据驱动的协作 TR-1601
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
C. Castillo;Charles Schmitt
通讯作者：
Charles Schmitt
DOI：
10.1201/9781351036863-5
发表时间：
2019-05
期刊：
Contemporary High Performance Computing
影响因子：
--
作者：
K. Keahey;Pierre Riteau;D. Stanzione;T. Cockerill;J. Mambretti;P. Rad;Paul Ruth
通讯作者：
K. Keahey;Pierre Riteau;D. Stanzione;T. Cockerill;J. Mambretti;P. Rad;Paul Ruth
科学工作流程集成的基于事件的触发和管理
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Suraj Pandey;K. Vahi;Rafael Ferreira da Silva;E. Deelman
通讯作者：
E. Deelman