Submarine: A subscription‐based data streaming framework for integrating large facilities and advanced cyberinfrastructure
Submarine: A subscription‐based data streaming framework for integrating large facilities and advanced cyberinfrastructure
复制标题
Submarine：基于订阅的数据流框架，用于集成大型设施和先进的网络基础设施
DOI：
10.1002/cpe.5256
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Parashar, Manish
中科院分区：
文献类型：
--
作者：
Zamani, Ali Reza;AbdelBaky, Moustafa;Balouek‐Thomert, Daniel;Villalobos, J. J.;Rodero, Ivan;Parashar, Manish
大型科学设施为研究人员提供仪器，数据和数据产品，可以加速科学发现。然而，不断增加的数据量加上有限的本地计算能力，使研究人员无法充分利用这些设施所能提供的优势。许多研究人员研究了使用商业和学术网络基础设施（CI）来处理这些数据。然而，大型设施和CI之间仍然存在脱节，这需要研究人员积极参与数据处理周期。CI和数据规模的日益复杂性需要新的数据交付模型，这些模型可以自主集成大型科学设施和CI，以提供真实的实时数据和见解。在本文中，我们提出了我们的初步努力，使用海洋观测站倡议项目作为用例。特别是，我们提出了一个基于订阅的数据流服务，利用Apache Kafka数据流平台进行数据交付。我们还展示了我们的解决方案如何将大型设施与CI服务自动集成，以实现自动化数据处理。
Large scientific facilities provide researchers with instrumentation, data, and data products that can accelerate scientific discovery. However, increasing data volumes coupled with limited local computational power prevents researchers from taking full advantage of what these facilities can offer. Many researchers looked into using commercial and academic cyberinfrastructure (CI) to process these data. Nevertheless, there remains a disconnect between large facilities and CI that requires researchers to be actively part of the data processing cycle. The increasing complexity of CI and data scale necessitates new data delivery models, those that can autonomously integrate large‐scale scientific facilities and CI to deliver real‐time data and insights. In this paper, we present our initial efforts using the Ocean Observatories Initiative project as a use case. In particular, we present a subscription‐based data streaming service for data delivery that leverages the Apache Kafka data streaming platform. We also show how our solution can automatically integrate large‐scale facilities with CI services for automated data processing.
登录
查看更多内容
连续体计算：结合普及设备和服务来支持数据驱动的应用程序
DOI：
--
发表时间：
2017
期刊：
IEEE International Conference on Distributed Computing Systems
影响因子：
--
作者：
Moustafa AbdelBaky;Mengsong Zou;A. Zamani;E. G. Renart;J. Montes;M. Parashar
通讯作者：
M. Parashar
通过传输中计算环境进行截止时间约束的视频分析
影响因子：
8.1
作者：
A. Zamani;Mengsong Zou;J. Diaz;I. Petri;O. Rana;A. Anjum;M. Parashar
通讯作者：
M. Parashar
眼睛护理 12 角膜塑形术初学者问答
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
平岡孝浩(大橋裕一;編);平岡孝浩;平岡孝浩;平岡孝浩;平岡孝浩
通讯作者：
平岡孝浩
支持大型天文台启用的数据驱动工作流程
DOI：
10.1109/escience.2017.95
发表时间：
2017
期刊：
2017 IEEE 13th International Conference on e-Science (e-Science
影响因子：
--
作者：
Zamani, Ali Reza;AbdelBaky, Moustafa;Balouek-Thomert, Daniel;Rodero, Ivan;Parashar, Manish
通讯作者：
Parashar, Manish
Globus：为科学家提供软件服务的案例研究
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
B. Allen;R. Ananthakrishnan;K. Chard;Ian T Foster;Ravi K. Madduri;J. Pruyne;Stephen Rosen;S. Tuecke
通讯作者：
S. Tuecke