In situ data analytics for highly scalable cloud modelling on Cray machines
In situ data analytics for highly scalable cloud modelling on Cray machines
复制标题
在 Cray 机器上进行高度可扩展的云建模的现场数据分析
DOI：
10.1002/cpe.4331
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Brown N
中科院分区：
文献类型：
--
作者：
Brown N
MONC是一个高度可扩展的模拟工具，用于研究大气流动、湍流和云微物理。典型的模拟会产生非常大量的原始数据，然后必须对这些数据进行分析，以便进行科学调查。出于性能和可伸缩性的原因，这种分析和随后写入磁盘的操作应在数据生成时就地执行；但是，在执行分析时不希望暂停计算。在本文中，我们提出了MONC的分析方法，其中节点的核心在计算和数据分析之间共享。通过将它们的数据异步发送到分析核心，计算核心可以连续运行，而不必暂停数据写入或分析。我们描述了高度异步的IO服务器框架和分析工作流，以及针对这种方法带来的挑战的解决方案，以及一些常见配置选择的性能影响。这项工作的结果是一种高度可扩展的分析方法，我们在Cray XC30的多达32-768个计算内核上演示了在MONC中启用数据分析时对运行时的性能影响最小，并调查了我们方法在KnL上的性能和适用性。
MONC is a highly scalable modelling tool for the investigation of atmospheric flows, turbulence, and cloud microphysics. Typical simulations produce very large amounts of raw data, which must then be analysed for scientific investigation. For performance and scalability reasons, this analysis and subsequent writing to disk should be performed in situ on the data as it is generated; however, one does not wish to pause the computation whilst analysis is carried out. In this paper, we present the analytics approach of MONC, where cores of a node are shared between computation and data analytics. By asynchronously sending their data to an analytics core, the computational cores can run continuously without having to pause for data writing or analysis. We describe our IO server framework and analytics workflow, which is highly asynchronous, along with solutions to challenges that this approach raises and the performance implications of some common configuration choices. The result of this work is a highly scalable analytics approach, and we illustrate on up to 32 768 computational cores of a Cray XC30 that there is minimal performance impact on the runtime when enabling data analytics in MONC and also investigate the performance and suitability of our approach on the KNL.
登录
查看更多内容
AM：通用主动消息框架
DOI：
10.1145/1854273.1854323
发表时间：
2010
期刊：
2010 19th International Conference on Parallel Architectures and Compilation Techniques (PACT)
影响因子：
--
作者：
Jeremiah Willcock;T. Hoefler;N. Edmonds;A. Lumsdaine
通讯作者：
A. Lumsdaine
Fortran 2003 的 Pthreads 包装器
DOI：
10.1145/2558889
发表时间：
2014
期刊：
ACM Transactions on Mathematical Software (TOMS)
影响因子：
--
作者：
O. Awile;I. Sbalzarini
通讯作者：
I. Sbalzarini
湍流环境中的混合相云第 1 部分：大涡模拟实验。
影响因子：
8.9
作者：
A. Hill;P. Field;K. Furtado;A. Korolev;B. Shipway
通讯作者：
B. Shipway
并行科学与工程应用 - 魅力方法
DOI：
10.1201/b16251
发表时间：
2013
期刊：
ACM Transactions on Mathematical Software (TOMS)
影响因子：
--
作者：
L. Kalé;A. Bhatele
通讯作者：
A. Bhatele
Fortran 2008的新特性
影响因子：
8.9
作者：
J. Reid
通讯作者：
J. Reid