AggNet: Cost-Aware Aggregation Networks for Geo-distributed Streaming Analytics
AggNet: Cost-Aware Aggregation Networks for Geo-distributed Streaming Analytics
复制标题
AggNet：用于地理分布式流分析的成本感知聚合网络
DOI：
10.1145/3453142.3491276
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Ramesh K. Sitaraman
中科院分区：
文献类型：
--
作者：
Dhruv Kumar;Sohaib Ahmad;Abhishek Chandra;Ramesh K. Sitaraman
大规模实时分析服务持续收集和分析来自分布在地球仪各地的终端用户应用程序和设备的数据。这种分析需要通过广域网（WAN）将数据传输到能够处理数据的数据中心（DC）。由于WAN带宽昂贵且稀缺，因此通过将数据部分聚合到更靠近最终用户的位置来减少WAN流量是有益的。我们提出了聚合网络，用于在由边缘服务器、中转和目的地DC组成的地理分布式边缘云基础设施上执行聚合。我们确定了一组丰富的研究问题，旨在降低聚合网络中的流量成本。我们提出了一个优化配方解决这些问题的原则性的方式，并使用从优化解决方案的见解，提出一个有效的，接近最佳的实用启发式。我们在构建在Apache Flink之上的AggNet中实现了启发式算法。我们使用Amazon EC2上的地理分布部署以及WAN模拟本地测试平台来评估我们的方法。我们使用Twitter和Akamai的真实跟踪进行的评估表明，我们的方法能够在不影响及时性的情况下，将流量成本降低47%至83%。
Large-scale real-time analytics services continuously collect and analyze data from end-user applications and devices distributed around the globe. Such analytics requires data to be transferred over the wide-area network (WAN) to data centers (DCs) capable of processing the data. Since WAN bandwidth is expensive and scarce, it is beneficial to reduce WAN traffic by partially aggregating the data closer to end-users. We propose aggregation networks for performing aggregation on a geo-distributed edge-cloud infrastructure consisting of edge servers, transit and destination DCs. We identify a rich set of research questions aimed at reducing the traffic costs in an aggregation network. We present an optimization formulation for solving these questions in a principled manner, and use insights from the optimization solutions to propose an efficient, near-optimal practical heuristic. We implement the heuristic in AggNet, built on top of Apache Flink. We evaluate our approach using a geo-distributed deployment on Amazon EC2 as well as a WAN-emulated local testbed. Our evaluation using real-world traces from Twitter and Akamai shows that our approach is able to achieve 47% to 83% reduction in traffic cost over existing baselines without any compromise in timeliness.
登录
查看更多内容
DOI：
--
发表时间：
2010
期刊：
--
影响因子：
--
作者：
S. J. Russell;Peter Norvig
通讯作者：
S. J. Russell;Peter Norvig
优化地理分布式流分析的及时性和成本
影响因子：
6.5
作者：
B. Heintz;A. Chandra;R. Sitaraman
通讯作者：
R. Sitaraman
通过互联网和运输网络进行预算有限的批量数据传输
DOI：
--
发表时间：
2011
期刊：
International Conference on Automation and Computing
影响因子：
--
作者：
Brian Cho;Indranil Gupta
通讯作者：
Indranil Gupta
DOI：
10.14778/3137765.3137777
发表时间：
2017-08
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
Paris Carbone;Stephan Ewen;Gyula Fóra;Seif Haridi;Stefan Richter;K. Tzoumas
通讯作者：
Paris Carbone;Stephan Ewen;Gyula Fóra;Seif Haridi;Stefan Richter;K. Tzoumas
LINQ：语言集成查询
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
T. Nash
通讯作者：
T. Nash