Challenges of Workload Analysis on Large HPC Systems: A Case Study on NCSA Blue Waters
Challenges of Workload Analysis on Large HPC Systems: A Case Study on NCSA Blue Waters
复制标题
大型 HPC 系统工作负载分析的挑战：NCSA Blue Waters 案例研究
DOI：
10.1145/3093338.3093348
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Brunner, Robert
中科院分区：
文献类型：
--
作者：
White, Joseph P.;Innus, Martins;Jones, Matthew D.;DeLeon, Robert L.;Simakov, Nikolay;Palmer, Jeffrey T.;Gallo, Steven M.;Furlani, Thomas R.;Showerman, Michael;Brunner, Robert
Blue沃茨[4]是一台千万亿次级别的超级计算机，其使命是大大加快对最具挑战性的计算和数据分析问题的洞察。我们使用Open XDMoD [10]对Blue沃茨[8]进行了详细的工作负载分析。该分析使用了大约35，000个节点小时来处理在研究期间在Blue沃茨上运行的超过450万个作业的大约95 TB输入数据（2013年4月1日-2016年9月30日）。本文描述了为整理、处理和分析Blue沃茨收集的数据所做的工作，以及所做的设计决策，我们创建的工具以及我们遇到和解决的各种软件工程问题。特别是，我们描述了独特的蓝色沃茨所产生的非常大的作业，它通常执行的数据处理的挑战。
Blue Waters [4] is a petascale-level supercomputer whose mission is to greatly accelerate insight to the most challenging computational and data analysis problems. We performed a detailed workload analysis of Blue Waters [8] using Open XDMoD [10]. The analysis used approximately 35,000 node hours to process the roughly 95 TB of input data from over 4.5M jobs that ran on Blue Waters during the period that was studied (April 1, 2013 - September 30, 2016).This paper describes the work that was done to collate, process and analyze the data that was collected on Blue Waters, the design decisions that were made, tools that we created and the various software engineering problems that we encountered and solved. In particular, we describe the challenges to data processing unique to Blue Waters engendered by the extremely large jobs that it typically executed.
Open XDMoD：高性能计算资源综合管理工具
影响因子：
2.1
作者：
Palmer, Jeffrey T.;Gallo, Steven M.;Furlani, Thomas R.;Jones, Matthew D.;DeLeon, Robert L.;White, Joseph P.;Simakov, Nikolay;Patra, Abani K.;Sperhac, Jeanette;Yearke, Thomas
通讯作者：
Yearke, Thomas
使用 OVIS 对 Blue Waters 进行大规模系统监测和分析。
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
J. Brandt;A. Gentile;B. Allan;M. Showerman;J. Enos;Joseph Fullop;P. Cassella;Nichamon Naksinehaboon;Narate Taerat;Thomas W. Tucker
通讯作者：
Thomas W. Tucker
使用 XALT 进行用户环境跟踪和问题检测
DOI：
10.1109/hust.2014.6
发表时间：
2014
期刊：
2014 First International Workshop on HPC User Support Tools
影响因子：
--
作者：
Kapil Agrawal;M. Fahey;R. McLay;D. James
通讯作者：
D. James