Analyzing Scientific Data Sharing Patterns for In-network Data Caching
Analyzing Scientific Data Sharing Patterns for In-network Data Caching
复制标题
分析网络内数据缓存的科学数据共享模式
DOI：
10.1145/3452411.3464441
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Fajardo, Edgar
中科院分区：
文献类型：
--
作者：
Copps, Elizabeth;Zhang, Huiyi;Sim, Alex;Wu, Kesheng;Monga, Inder;Guok, Chin;Würthwein, Frank;Davila, Diego;Fajardo, Edgar
通过网络传输的数据量随着新的科学实验和模拟而增加。网络带宽要求也会按比例增加，以便在特定时间范围内交付数据。我们观察到，由于各种原因，流行数据集的很大一部分被多次传输给不同的用户以及相同的用户。对共享数据进行网内数据缓存可以减少冗余数据传输，从而节省网络流量。此外，通过网络内缓存，整体应用程序性能有望提高，因为访问本地缓存的数据会降低延迟。本文展示了在研究期间共享了多少数据，从而节省了多少网络流量，以及临时网络内缓存在多大程度上提高了科学应用程序的性能。它还分析了应用程序中的数据访问模式以及缓存节点对区域数据存储库的影响。从结果中我们观察到，在研究期间，网络带宽需求减少了近3倍。
The volume of data moving through a network increases with new scientific experiments and simulations. Network bandwidth requirements also increase proportionally to deliver data within a certain time frame. We observe that a significant portion of the popular dataset is transferred multiple times to different users as well as to the same user for various reasons. In-network data caching for the shared data has shown to reduce the redundant data transfers and consequently save network traffic volume. In addition, overall application performance is expected to improve with in-network caching because access to the locally cached data results in lower latency. This paper shows how much data was shared over the study period, how much network traffic volume was consequently saved, and how much the temporary in-network caching increased the scientific application performance. It also analyzes data access patterns in applications and the impacts of caching nodes on the regional data repository. From the results, we observed that the network bandwidth demand was reduced by nearly a factor of 3 over the study period.
登录
查看更多内容
StashCache：开放科学网格的分布式缓存联盟
DOI：
10.1145/3332186.3332212
发表时间：
2019
期刊：
7 pages.
影响因子：
--
作者：
Weitzel, Derek;Zvada, Marian;Vukotic, Ilija;Gardner, Rob;Bockelman, Brian;Rynge, Mats;Hernandez, Edgar Fajardo;Lin, Brian;Selmeci, Mátyás
通讯作者：
Selmeci, Mátyás
DOI：
10.1088/1742-6596/513/4/042044
发表时间：
2014-06
期刊：
Journal of Physics: Conference Series
影响因子：
--
作者：
L. Bauerdick;K. Bloom;B. Bockelman;D. Bradley;S. Dasu;J. Dost;I. Sfiligoi;A. Tadel;M. Tadel;F. Wuerthwein;A. Yagil
通讯作者：
L. Bauerdick;K. Bloom;B. Bockelman;D. Bradley;S. Dasu;J. Dost;I. Sfiligoi;A. Tadel;M. Tadel;F. Wuerthwein;A. Yagil
联合 Xrootd 缓存
DOI：
--
发表时间：
2018
期刊：
Journal of Physics: Conference Series
影响因子：
--
作者：
E. Fajardo;A. Tadel;M. Tadel;B. Steer;T. Martin;F. Würthwein
通讯作者：
F. Würthwein
DOI：
--
发表时间：
2019
期刊：
影响因子：
--
作者：
Ben Brown;E. Dart;G. Rai;Lauren Rotman;P. Wefel;J. Zurawski
通讯作者：
J. Zurawski
解决 HL-LHC 数据访问难题的探索
影响因子：
--
作者：
X. Espinal;S. Jézéquel;M. Schulz;A. Sciabà;I. Vukotic;F. Wuerthwein
通讯作者：
F. Wuerthwein