Optimizing All-to-All Collective Communication by Exploiting Concurrency in Modern Networks
Optimizing All-to-All Collective Communication by Exploiting Concurrency in Modern Networks
复制标题
通过利用现代网络中的并发性来优化所有对所有的集体通信
DOI：
10.1109/sc.2005.51
复制
发表时间：
2005
期刊：
影响因子：
--
通讯作者：
J. Nieplocha
中科院分区：
文献类型：
--
作者：
V. Tipparaju;J. Nieplocha
本文提出了一种新的方法，通过利用现代网络（如Infiniband或Quadrics）中的并发性来优化所有对所有集体通信的性能。使用MPI AllGather操作作为一个例子，我们描述了如何利用网络并发性，在此操作的优化实现。例如，相比领先的MPI实现的32 KB的消息在128个处理器，我们的新算法产生了65%的改进在弗吉尼亚理工大学的Infiniband和89%的改进在太平洋西北国家实验室的Quadrics集群。
The paper proposes a novel approach for optimizing performance of all-to-all collective communication by taking advantage of concurrency available in modern networks such as Infiniband or Quadrics. Using the MPI AllGather operation as an example, we describe how network concurrency can be exploited in an optimized implementation of this operation. For example, compared to leading MPI implementations for a 32-KB message on 128 processors, our new algorithm yields a 65% improvement on the Infiniband at Virginia Tech and an 89% improvement on the Quadrics cluster at Pacific Northwest National Laboratory.