Predicting MPI Collective Communication Performance Using Machine Learning
Predicting MPI Collective Communication Performance Using Machine Learning
复制标题
使用机器学习预测 MPI 集体通信性能
DOI：
10.1109/cluster49012.2020.00036
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Knees, Peter
中科院分区：
文献类型：
--
作者：
Hunold, Sascha;Bhatele, Abhinav;Bosilca, George;Knees, Peter
消息传递接口（MPI）定义了数据通信操作的语义，而实现库为每个操作提供了几个参数化算法。MPI集体操作的每个算法可能在特定系统上工作得最好，并且可能取决于特定的通信问题。在内部，MPI库在被MPI应用程序调用时使用算法来为给定的通信问题选择最佳算法。大多数MPI库允许用户覆盖默认的算法选择，从而可以调优此选择过程。然后，问题就变成了如何为特定情况自动选择最佳算法。在本文中，我们解决了MPI集体通信操作的算法选择问题。为了解决这个问题，我们提出了一个自动调优框架集体MPI操作的机器学习技术的基础上。首先，我们执行一组MPI库的基准测试及其整个集合算法。其次，对于每个算法，我们通过应用回归学习器来拟合性能模型。最后，我们使用回归模型来预测一个看不见的通信问题的最佳（最快）算法。我们评估我们的方法，不同的MPI库和几个并行机。实验结果表明，我们的方法优于标准的算法选择算法，这是硬编码到MPI库，由一个显着的保证金。
The Message Passing Interface (MPI) defines the semantics of data communication operations, while the implementing libraries provide several parameterized algorithms for each operation. Each algorithm of an MPI collective operation may work best on a particular system and may be dependent on the specific communication problem. Internally, MPI libraries employ heuristics to select the best algorithm for a given communication problem when being called by an MPI application. The majority of MPI libraries allow users to override the default algorithm selection, enabling the tuning of this selection process. The problem then becomes how to select the best possible algorithm for a specific case automatically. In this paper, we address the algorithm selection problem for MPI collective communication operations. To solve this problem, we propose an auto-tuning framework for collective MPI operations based on machine-learning techniques. First, we execute a set of benchmarks of an MPI library and its entire set of collective algorithms. Second, for each algorithm, we fit a performance model by applying regression learners. Last, we use the regression models to predict the best possible (fastest) algorithm for an unseen communication problem. We evaluate our approach for different MPI libraries and several parallel machines. The experimental results show that our approach outperforms the standard algorithm selection heuristics, which are hard-coded into the MPI libraries, by a significant margin.
登录
查看更多内容
MPI 中的分层时钟同步
DOI：
--
发表时间：
2018
期刊：
IEEE International Conference on Cluster Computing
影响因子：
--
作者：
S. Hunold;Alexandra Carpen
通讯作者：
Alexandra Carpen
使用分析性能建模准确选择最佳 MPI 集体算法的运行时
DOI：
--
发表时间：
2020
期刊：
arXiv.org
影响因子：
--
作者：
Emin Nuriyev;Alexey L. Lastovetsky
通讯作者：
Alexey L. Lastovetsky
使用性能指南自动调整 MPI 集合
DOI：
--
发表时间：
2018
期刊：
International Conference on High Performance Computing in Asia-Pacific Region
影响因子：
--
作者：
S. Hunold;Alexandra Carpen
通讯作者：
Alexandra Carpen
DOI：
10.1109/sc.2018.00033
发表时间：
2018-11
期刊：
SC18: International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
Sudheer Chunduri;Scott Parker;P. Balaji;K. Harms;Kalyan Kumaran
通讯作者：
Sudheer Chunduri;Scott Parker;P. Balaji;K. Harms;Kalyan Kumaran
MVAPICH 项目：HPC 开源生产质量 MPI 库的演变和可持续性
DOI：
10.6084/m9.figshare.791563.v5
发表时间：
2013
期刊：
ACM/IEEE SC 2002 Conference (SC'02)
影响因子：
--
作者：
D. Panda;K. Tomko;Karl W. Schulz;Amitava Majumdar
通讯作者：
Amitava Majumdar