Communication-Aware Container Placement and Reassignment in Large-Scale Internet Data Centers
Communication-Aware Container Placement and Reassignment in Large-Scale Internet Data Centers
复制标题
大型互联网数据中心中通信感知容器的放置和重新分配
DOI：
10.1109/jsac.2019.2895473
复制
发表时间：
2019-01
影响因子：
16.4
通讯作者：
Liang Qingqing
中科院分区：
文献类型：
--
作者：
Lv Liang;Zhang Yuchao;Li Yusen;Xu Ke;Wang Dan;Wang Wendong;Li Minghui;Cao Xuan;Liang Qingqing
容器化由于其轻量级、可伸缩和高度可移植的特性，已在许多应用程序中用于隔离目的。然而，在大规模互联网数据中心中应用容器化面临着巨大的挑战。数据中心中的服务总是被实例化为一组容器，这通常会产生繁重的通信工作负载，从而导致通信效率低下和服务性能下降。虽然将相同服务的容器分配给相同服务器可以减少通信开销，但这可能导致严重不平衡的资源利用率，因为相同服务的容器通常对相同资源是密集的。为了降低通信成本，平衡大规模数据中心的资源利用率，本文进一步研究了真实的工业环境中的容器分配问题，发现这种冲突存在于容器放置和容器重新分配两个阶段。本文的目的是解决这两个阶段的集装箱配送问题。对于容器放置问题，我们提出了一个有效的通信感知最差拟合递减算法，将一组新的容器放入数据中心。对于容器的重新分配问题，我们提出了一个两阶段的算法，称为扫描和搜索优化给定的初始分布的容器之间的服务器迁移容器。我们在百度的数据中心实现了所提出的算法，并进行了广泛的评估。与最先进的策略相比，评估结果表明，我们的算法表现更好的高达70%，同时提高整体服务吞吐量高达90%。
Containerization has been used in many applications for isolation purposes due to its lightweight, scalable, and highly portable properties. However, to apply containerization in large-scale Internet data centers faces a big challenge. Services in data centers are always instantiated as a group of containers, which often generate heavy communication workloads and therefore resulting in inefficient communications and downgraded service performance. Although assigning the containers of the same service to the same server can reduce the communication overhead, this may cause heavily imbalanced resource utilization since containers of the same service are usually intensive to the same resource. To reduce communication cost as well as balance the resource utilization in large-scale data centers, we further explore the container distribution issues in a real industrial environment and find that such conflict lies in two phases-container placement and container reassignment. The objective of this paper is to address the container distribution problem in these two phases. For the container placement problem, we propose an efficient communication aware worst fit decreasing algorithm to place a set of new containers into data centers. For the container reassignment problem, we propose a two-stage algorithm called Sweep&Search to optimize a given initial distribution of containers by migrating containers among servers. We implement the proposed algorithms in Baidu's data centers and conduct extensive evaluations. Compared with the state-of-the-art strategies, the evaluation results show that our algorithms perform better up to 70% and increase the overall service throughput up to 90% simultaneously.
登录
查看更多内容
DOI：
10.1145/3005745.3005756
发表时间：
2016-11
期刊：
Proceedings of the 15th ACM Workshop on Hot Topics in Networks
影响因子：
--
作者：
Tian-jiao Yu;S. Noghabi;S. Raindel;H. Liu;J. Padhye;Vyas Sekar
通讯作者：
Tian-jiao Yu;S. Noghabi;S. Raindel;H. Liu;J. Padhye;Vyas Sekar
影响因子：
3.7
作者：
B. Gavish;H. Pirkul
通讯作者：
B. Gavish;H. Pirkul
DOI：
10.1145/321958.321975
发表时间：
1976-07
期刊：
Journal of the ACM (JACM)
影响因子：
--
作者：
S. Sahni;T. Gonzalez
通讯作者：
S. Sahni;T. Gonzalez
DOI：
10.1007/978-3-319-46079-6_47
发表时间：
2016-06
期刊：
--
影响因子：
--
作者：
Simon Pickartz;Niklas Eiling;Stefan Lankes;Lukas Razik;A. Monti
通讯作者：
Simon Pickartz;Niklas Eiling;Stefan Lankes;Lukas Razik;A. Monti
基于云的隐私保护加密图近似约束最短距离查询
DOI：
10.1109/tifs.2017.2774451
发表时间：
2018-04
影响因子：
6.8
作者：
Meng Shen;Baoli Ma;Liehuang Zhu;Rashid Mijumbi;Xiaojiang Du;Jiankun Hu
通讯作者：
Jiankun Hu