Studying Latency and Throughput Constraints for Geo-Distributed Data in the National Science Data Fabric
Studying Latency and Throughput Constraints for Geo-Distributed Data in the National Science Data Fabric
复制标题
研究国家科学数据结构中地理分布式数据的延迟和吞吐量约束
DOI：
10.1145/3588195.3595948
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Taufer, Michela
中科院分区：
文献类型：
--
作者：
Luettgau, Jakob;Martinez, Heberth;Tarcea, Glenn;Scorzelli, Giorgio;Pascucci, Valerio;Taufer, Michela
国家科学数据结构(NSDF)是我们解决日益增长的数据科学界的数据共享需求问题的解决方案。NSDF旨在让缺乏技术专业知识和基础设施的用户更容易在地理上分散的站点上共享数据。通过开发易于安装的软件堆栈，我们促进了NSDF中的公平数据共享原则，同时利用了现有的高速数据传输基础设施，如Globus和XRootD。这项工作展示了我们如何利用地理分布的NSDF站点与NSDF入口点之间的延迟和吞吐量信息来优化数据交换矩阵中数据放置和传输的自动协调，从而进一步提高数据共享的效率。
The National Science Data Fabric (NSDF) is our solution to the problem of addressing the data-sharing needs of the growing data science community. NSDF is designed to make sharing data across geographically distributed sites easier for users who lack technical expertise and infrastructure. By developing an easy-to-install software stack, we promote the FAIR data-sharing principles in NSDF while leveraging existing high-speed data transfer infrastructures such as Globus and XRootD. This work shows how we leverage latency and throughput information between geo-distributed NSDF sites with NSDF entry points to optimize the automatic coordination of data placement and transfer across the data fabric, which can further improve the efficiency of data sharing.
NSDF-FUSE：通过 FUSE 文件系统研究对象存储的测试平台
DOI：
10.1145/3502181.3533709
发表时间：
2022
期刊：
Minneapolis
影响因子：
--
作者：
Olaya, Paula;Luettgau, Jakob;Zhou, Naweiluo;Lofstead, Jay;Scorzelli, Giorgio;Pascucci, Valerio;Taufer, Michela
通讯作者：
Taufer, Michela
DOI：
10.1109/ucc56403.2022.00011
发表时间：
2022-12
期刊：
2022 IEEE/ACM 15th International Conference on Utility and Cloud Computing (UCC)
影响因子：
--
作者：
Jakob Luettgau;Christine R. Kirkpatrick;G. Scorzelli;Valerio Pascucci;G. Tarcea
通讯作者：
Jakob Luettgau;Christine R. Kirkpatrick;G. Scorzelli;Valerio Pascucci;G. Tarcea
NSDF-Cloud：跨学术和商业云启用临时计算集群
DOI：
10.1145/3502181.3533710
发表时间：
2022
期刊：
HPDC '22: Proceedings of the 31st International Symposium on High-Performance Parallel and Distributed Computing
影响因子：
--
作者：
Luettgau, Jakob;Olaya, Paula;Zhou, Naweiluo;Scorzelli, Giorgio;Pascucci, Valerio;Taufer, Michela
通讯作者：
Taufer, Michela