A Codesign Framework for Online Data Analysis and Reduction
A Codesign Framework for Online Data Analysis and Reduction
复制标题
在线数据分析和缩减的协同设计框架
DOI：
10.1109/works49585.2019.00007
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
T. Munson
中科院分区：
文献类型：
--
作者：
Kshitij Mehta;Ian T Foster;S. Klasky;B. Allen;M. Wolf;Jeremy S. Logan;E. Suchyta;J. Choi;Keichi Takahashi;I. Yakushin;T. Munson
在本文中，我们讨论了我们设计的一个工具集，用于自动研究执行在线数据缩减和分析的组合HPC应用程序的性能。我们描述了Cheetah，一个在耦合应用中进行参数化研究的新框架。Cheetah有助于理解各种因素的影响，例如进程布局、算法的同步性以及在线大数据分析的存储与计算需求。最终，我们的目标是创建一个性能结果目录，可以帮助科学家在设计利用在线处理技术的下一代模拟时了解权衡。我们通过使用反应扩散模拟（Gray-Scott）和分析应用程序来说明Cheetah的设计选择，以演示在橡树岭国家实验室的前百亿次超级计算机Summit上细粒度过程放置的初步结果。
In this paper we discuss our design of a toolset for automating performance studies of composed HPC applications that perform online data reduction and analysis. We describe Cheetah, a new framework for performing parametric studies on coupled applications. Cheetah facilitates understanding the impact of various factors such as process placement, synchronicity of algorithms, and storage vs. compute requirements for online analysis of large data. Ultimately, we aim to create a catalog of performance results that can help scientists understand tradeoffs when designing next-generation simulations that make use of online processing techniques. We illustrate the design choices of Cheetah by using a reaction-diffusion simulation (Gray-Scott) paired with an analysis application to demonstrate initial results of fine-grained process placement on Summit, a pre-exascale supercomputer at Oak Ridge National Laboratory.
DOI：
10.1007/978331958667015
发表时间：
2017
期刊：
High Performance Computing. ISC 2017. Lecture Notes in Computer Science
影响因子：
--
作者：
Hamilton, S.;Lindstrom, P.;Patchett, J.;Meneveau, C.;Burns, R.
通讯作者：
Burns, R.