Towards WAN-aware join sampling over geo-distributed data
Towards WAN-aware join sampling over geo-distributed data
复制标题
针对地理分布式数据进行广域网感知连接采样
DOI：
10.1145/3517206.3526268
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Sitaraman, Ramesh K.
中科院分区：
文献类型：
--
作者：
Kumar, Dhruv;Wolfrath, Joel;Chandra, Abhishek;Sitaraman, Ramesh K.
在地理上分布的数据源上进行大规模数据分析是具有挑战性的，主要是因为广域网(广域网)带宽等资源的可用性有限且异质。在这项工作中，我们研究了在连接上为地理分布的数据源生成随机样本的问题。联接是数据分析中最基本但成本最高的操作之一。为了降低计算联接的成本，现有技术着眼于在集中式环境中高效地根据联接结果生成随机样本，在集中式环境中，所有数据都在一个位置可用。这些技术未能解决地理分布环境带来的独特挑战。为了应对这些挑战，我们提出了一种抽样技术，旨在减少广域网流量和延迟，从而减少通过连接为地理分布的数据源生成样本的总体延迟。我们在ApacheSpark上实现了我们的地理分布式采样技术，并将其与现有的最先进的采样技术进行比较，以确定建议的方法具有显著优势的场景。在此探索的基础上，我们提供了在为地理分布的环境设计支持广域网的加入采样技术时应考虑的其他因素的详细概述。
Large scale data analytics over geographically distributed data sources is challenging primarily due to the constrained and heterogeneous resource availability such as the wide area network (WAN) bandwidth. In this work, we look at the problem of generatingrandom samples over joinsfor geo-distributed data sources. Joins are one of the most fundamental yet expensive operations in data analytics. To reduce the cost of computing joins, existing techniques have looked at efficiently generating a random sample over the join result for centralized environments, where all the data is available in one location. These techniques fail to address the unique challenges posed by geo-distributed environments. To address these challenges, we propose a sampling technique which aims to reduce the WAN traffic and latency, thereby reducing the overall latency for generating samples over joins for geo-distributed data sources. We implement our geo-distributed sampling technique on top of Apache Spark and compare it with existing state-of-the-art sampling techniques to identify scenarios where the proposed approach gives significant benefits. Based on this exploration, we provide a detailed outline of additional factors which should be considered when designing a WAN-aware join sampling technique for geo-distributed environments.
登录
查看更多内容
DOI：
--
发表时间：
2019-10
期刊：
ArXiv
影响因子：
--
作者：
Kevin Hsieh;Amar Phanishayee;O. Mutlu;Phillip B. Gibbons
通讯作者：
Kevin Hsieh;Amar Phanishayee;O. Mutlu;Phillip B. Gibbons
影响因子：
7.5
作者：
A. Veith;M. Assunção
通讯作者：
A. Veith;M. Assunção
DOI：
10.1145/3309697.3331491
发表时间：
2019-06
期刊：
Abstracts of the 2019 SIGMETRICS/Performance Joint International Conference on Measurement and Modeling of Computer Systems
影响因子：
--
作者：
Dhruv Kumar;Jian Li;A. Chandra;R. Sitaraman
通讯作者：
Dhruv Kumar;Jian Li;A. Chandra;R. Sitaraman
DOI：
10.1145/3267809.3267834
发表时间：
2018-10
期刊：
Proceedings of the ACM Symposium on Cloud Computing
影响因子：
--
作者：
D. Quoc;Istemi Ekin Akkus;Pramod Bhatotia;Spyros Blanas;Ruichuan Chen;C. Fetzer;T. Strufe
通讯作者：
D. Quoc;Istemi Ekin Akkus;Pramod Bhatotia;Spyros Blanas;Ruichuan Chen;C. Fetzer;T. Strufe
AggNet：用于地理分布式流分析的成本感知聚合网络
DOI：
10.1145/3453142.3491276
发表时间：
2021
期刊：
IEEE/ACM Symposium on Edge Computing (SEC
影响因子：
--
作者：
Dhruv Kumar;Sohaib Ahmad;Abhishek Chandra;Ramesh K. Sitaraman
通讯作者：
Ramesh K. Sitaraman