Principles for Automated and Reproducible Benchmarking
Principles for Automated and Reproducible Benchmarking
复制标题
自动化和可重复基准测试的原则
DOI：
10.1145/3624062.3624133
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Koskela T
中科院分区：
文献类型：
--
作者：
Koskela T
高性能计算(HPC)设施使用的处理器技术的多样性正在增长，因此应用程序的编写方式必须能够在一系列不同的CPU、GPU和其他加速器上获得高水平的性能。在如此广泛的平台上衡量应用程序性能变得至关重要，但要严格、高效地完成这项工作，同时确保结果具有科学意义、可重复性和可操作性，仍存在重大挑战。本文提出了一种测量和分析并行应用程序性能可移植性的方法，并共享了一个软件框架，该框架结合和扩展了所采用的技术，提供了一个可用的基准测试工具。我们通过展示各种基准案例研究来展示方法和基准框架的灵活性和有效性，这些案例研究在全国范围内利用了稳定的超级计算资源。
The diversity in processor technology used by High Performance Computing (HPC) facilities is growing, and so applications must be written in such a way that they can attain high levels of performance across a range of different CPUs, GPUs, and other accelerators. Measuring application performance across this wide range of platforms becomes crucial, but there are significant challenges to do this rigorously, in a time efficient way, whilst assuring results are scientifically meaningful, reproducible, and actionable. This paper presents a methodology for measuring and analysing the performance portability of a parallel application and shares a software framework which combines and extends adopted technologies to provide a usable benchmarking tool. We demonstrate the flexibility and effectiveness of the methodology and benchmarking framework by showcasing a variety of benchmarking case studies which utilise a stable of supercomputing resources at a national scale.
登录
查看更多内容
LFRic：应对天气和气候模型中可扩展性和性能可移植性的挑战
DOI：
10.48550/arxiv.1809.07267
发表时间：
2018
期刊：
arXiv e-prints
影响因子：
--
作者：
Adams S. V.
通讯作者：
Adams S. V.
跨不同计算机架构的性能可移植性
DOI：
10.1109/p3hpc49587.2019.00006
发表时间：
2019
期刊：
--
影响因子：
--
作者：
Deakin T
通讯作者：
Deakin T
在并行计算机上提供性能结果时愚弄大众的十二种方法
DOI：
--
发表时间：
1991
期刊：
影响因子：
--
作者：
David H. Bailey
通讯作者：
David H. Bailey
定量评估性能可移植性的实证 Roofline 方法
DOI：
--
发表时间：
2018
期刊：
International Workshop on Performance, Portability and Productivity in HPC
影响因子：
--
作者：
Charlene Yang;Rahulkumar Gayatri;T. Kurth;P. Basu;Z. Ronaghi;A. Adetokunbo;B. Friesen;B. Cook;D. Doerfler;L. Oliker;J. Deslippe;Samuel Williams
通讯作者：
Samuel Williams
DOI：
10.1016/j.future.2017.08.007
发表时间：
2017
期刊：
Future Gener. Comput. Syst.
影响因子：
--
作者：
S. Pennycook;J. Sewall;V. Lee
通讯作者：
V. Lee