Enabling comprehensive data-driven system management for large computational facilities
Enabling comprehensive data-driven system management for large computational facilities
复制标题
为大型计算设施提供全面的数据驱动系统管理
DOI：
10.1145/2503210.2503230
复制
发表时间：
2013
期刊：
影响因子：
--
通讯作者：
Furlani, Thomas R.
中科院分区：
文献类型：
--
作者：
Browne, James C.;DeLeon, Robert L.;Lu, Charng-Da;Jones, Matthew D.;Gallo, Steven M.;Ghadersohi, Amin;Patra, Abani K.;Barth, William L.;Hammond, John;Furlani, Thomas R.
本文介绍了一个工具链，基于开源工具TACC_Stats，系统和全面的作业级资源使用测量大型集群计算机，并将其纳入XDMoD，资源管理的报告和分析框架，目标是满足用户，应用程序开发人员，系统管理员，系统管理和资金经理的信息需求。会计、调度程序和事件日志与来自TACC_Stats的系统性能数据集成。TACC_Stats定期记录资源使用情况，包括每个节点上运行的每个作业的许多硬件计数器。此外，通过节点（作业）级数据的聚合获得系统级度量。对这些数据的分析可以生成许多类型的标准和自定义报告，甚至还可以生成有限的预测能力，这在以前的开源、基于Linux的软件系统中是不可用的。本文介绍了可用于有效资源管理的信息的案例研究。我们相信这个系统是第一个完全全面的系统，用于支持基于开源软件的HPC系统中所有利益相关者的信息需求。
This paper presents a tool chain, based on the open source tool TACC_Stats, for systematic and comprehensive job level resource use measurement for large cluster computers, and its incorporation into XDMoD, a reporting and analytics framework for resource management that targets meeting the information needs of users, application developers, systems administrators, systems management and funding managers. Accounting, scheduler and event logs are integrated with system performance data from TACC_Stats. TACC_Stats periodically records resource use including many hardware counters for each job running on each node. Furthermore, system level metrics are obtained through aggregation of the node (job) level data. Analysis of this data generates many types of standard and custom reports and even a limited predictive capability that has not previously been available for open-source, Linux-based software systems. This paper presents case studies of information that can be applied for effective resource management. We believe this system to be the first fully comprehensive system for supporting the information needs of all stakeholders in open-source software based HPC systems.
登录
查看更多内容
浮点性能的系统级监控以提高有效的系统利用率
DOI：
10.1145/2063348.2063355
发表时间：
2011
期刊：
2011 International Conference for High Performance Computing, Networking, Storage and Analysis (SC)
影响因子：
--
作者：
D. D. Vento;Thomas Engel;Siddhartha S. Ghosh;David L. Hart;Rory C. Kelly;Si Liu;R. Valent
通讯作者：
R. Valent
进一步提高 Scalasca 工具集的可扩展性
DOI：
10.1007/978-3-642-28145-7_45
发表时间：
2010
期刊：
2010 ACM/IEEE International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
M. Geimer;P. Saviankou;A. Strube;Z. Szebenyi;F. Wolf;B. Wylie
通讯作者：
B. Wylie
HPCToolkit：科学计算的性能工具
DOI：
10.1088/1742-6596/125/1/012088
发表时间：
2008
期刊：
Journal of Physics: Conference Series
影响因子：
--
作者：
Nathan R. Tallent;J. Mellor;L. Adhianto;M. Fagan;Mark W. Krentel
通讯作者：
Mark W. Krentel
使用高性能计算机系统的应用程序内核的性能指标和审核框架
DOI：
10.1002/cpe.2871
发表时间：
2013
期刊：
Concurrency and Computation: Practice and Experience
影响因子：
--
作者：
Furlani, Thomas R.;Jones, Matthew D.;Gallo, Steven M.;Bruno, Andrew E.;Lu, Charng‐Da;Ghadersohi, Amin;Gentner, Ryan J.;Patra, Abani;DeLeon, Robert L.;Laszewski, Gregor
通讯作者：
Laszewski, Gregor