A Case for Adaptive Resource Management in Alibaba Datacenter Using Neural Networks
A Case for Adaptive Resource Management in Alibaba Datacenter Using Neural Networks
复制标题
使用神经网络在阿里巴巴数据中心进行自适应资源管理的案例
DOI：
10.1007/s11390-020-9732-x
复制
发表时间：
2020-01
影响因子：
0.7
通讯作者：
Bao Yun-Gang
中科院分区：
文献类型：
--
作者：
Wang Sa;Zhu Yan-Hai;Chen Shan-Pei;Wu Tian-Ze;Li Wen-Jie;Zhan Xu-Sheng;Ding Hai-Yang;Shi Wei-Song;Bao Yun-Gang
长期以来，资源效率和应用服务质量一直是数据中心运营商的一大担忧，但两者仍然是不可调和的。高资源利用率增加了位于同一位置的工作负载之间的资源争用风险，从而使延迟关键型(LC)应用程序遭受不可预测甚至不可接受的性能。大量的前期工作致力于开发有效的机制来保护LC应用的服务质量，同时提高资源效率。本文提出了一种资源管理运行时MAGI，它利用神经网络来监测并进一步定位性能干扰的根本原因，并调整相应应用的资源份额，以确保LC应用的服务质量。MAGI是阿里巴巴数据中心的一个实践，使用神经网络为应用程序提供按需资源调整。实验结果表明，当MAGI与其他拮抗剂应用共存时，可以减少高达87.3%的LC应用性能下降。
Both resource efficiency and application QoS have been big concerns of datacenter operators for a long time, but remain to be irreconcilable. High resource utilization increases the risk of resource contention between co-located workload, which makes latency-critical (LC) applications suffer unpredictable, and even unacceptable performance. Plenty of prior work devotes the effort on exploiting effective mechanisms to protect the QoS of LC applications while improving resource efficiency. In this paper, we propose MAGI, a resource management runtime that leverages neural networks to monitor and further pinpoint the root cause of performance interference, and adjusts resource shares of corresponding applications to ensure the QoS of LC applications. MAGI is a practice in Alibaba datacenter to provide on-demand resource adjustment for applications using neural networks. The experimental results show that MAGI could reduce up to 87.3% performance degradation of LC application when co-located with other antagonist applications.
登录
查看更多内容
DOI：
10.1145/2465351.2465388
发表时间：
2013-04
期刊：
--
影响因子：
--
作者：
Xiao Zhang;Eric Tune;R. Hagmann;Rohit Jnagal;Vrigo Gokhale;J. Wilkes
通讯作者：
Xiao Zhang;Eric Tune;R. Hagmann;Rohit Jnagal;Vrigo Gokhale;J. Wilkes
DOI：
10.1145/3326285.3329074
发表时间：
2019-06
期刊：
2019 IEEE/ACM 27th International Symposium on Quality of Service (IWQoS)
影响因子：
--
作者：
Jing Guo;Zihao Chang;Sa Wang;Haiyang Ding;Yihui Feng;Liang Mao;Yungang Bao
通讯作者：
Jing Guo;Zihao Chang;Sa Wang;Haiyang Ding;Yihui Feng;Liang Mao;Yungang Bao
DOI：
10.1145/2535838.2535853
发表时间：
2014-01
期刊：
Proceedings of the 41st ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages
影响因子：
--
作者：
Rahul Sharma;A. Nori;A. Aiken
通讯作者：
Rahul Sharma;A. Nori;A. Aiken
DOI：
10.1145/2517349.2522716
发表时间：
2013-11
期刊：
Proceedings of the Twenty-Fourth ACM Symposium on Operating Systems Principles
影响因子：
--
作者：
Kay Ousterhout;Patrick Wendell;M. Zaharia;I. Stoica
通讯作者：
Kay Ousterhout;Patrick Wendell;M. Zaharia;I. Stoica
DOI：
10.1145/3297858.3304005
发表时间：
2019-04
期刊：
Proceedings of the Twenty-Fourth International Conference on Architectural Support for Programming Languages and Operating Systems
影响因子：
--
作者：
Shuang Chen;Christina Delimitrou;José F. Martínez
通讯作者：
Shuang Chen;Christina Delimitrou;José F. Martínez