A Productive Programming Environment for Supercomputers Using Distributed Shared Memory with Task Parallelism

使用具有任务并行性的分布式共享内存的超级计算机的高效编程环境

• 批准号: 19J14231
• 负责人: 遠藤 亘
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J14231/
• 关键词: 分散共有メモリ; コヒーレンスプロトコル; タスク並列; ユーザレベルスレッド; 通信オフローディング; RDMA; ホームマイグレーション; タイムスタンプベースコヒーレンス

スーパーコンピュータは莫大な計算性能を持つ並列分散型計算機であるが、分散メモリというメモリアーキテクチャが一因となって、従来からアプリケーション生産性に問題が指摘されてきた。本研究では、この生産性の改善によるスーパーコンピュータの利用促進を目的として、共有メモリとタスク並列という2つの有望なプログラミングモデルに着目し、それらに基づいた新たな分散共有メモリ (DSM) 処理系を開発し評価した。本年度における顕著な進捗はDSM自体の性能改善であり、実行トレースを高速に記録して描画できる新たな性能解析ツールを開発することで、詳細な性能解析に基づいたDSMの改良を可能にした。DSM処理系の性能に関しては、複数のベンチマークプログラムについてほぼ修正せずにハードウェア共有メモリでの性能を上回っており、ホーム移動手法やタイムスタンプベースコヒーレンスといった本研究の提案手法による高速化も確認した。さらに、既存のDSM処理系に対し絶対性能の向上を確認した他、マイクロベンチマークでの性能調査なども行った。性能向上が達成されなかったベンチマークに関しても、OSやノード間通信といったDSM以外の部分で律速されていることを性能解析で明らかにした。タスク並列に関しては、当初予定していたプロセス間ワークスティーリングの処理系は本年度中に実現できなかったが、プロセス間への拡張を意図した新たなタスクスケジューラを実装して評価した。このスケジューラは拡張性と低オーバーヘッドを両立できるよう設計されており、プロセス内スケジューリングのベンチマークにおいて既存処理系と同等以上の性能結果となることを確認している。対外発表としては、以前提案したソフトウェアオフローディング手法の改良かつ一般化について、通信オフローディングに関する論文を福岡らと共著で発表した。

The problem of productivity is that the computing power of a distributed computer is distributed and distributed. This study aims to improve productivity and utilization of distributed management systems (DSM). This year, the DSM performance improvement is expected to be achieved at a high speed. The DSM performance improvement is expected to be achieved at a high speed. The performance of DSM processing system is related to the improvement of the performance of DSM processing system, the improvement of DSM processing system, and the improvement of DSM processing system. In addition, the existing DSM processing system is to confirm the upward direction of the insulation performance, and to conduct the performance investigation. Performance analysis is performed on all aspects of communication between users and other parts of the system. In addition to the above, the Company has also established a new system for the management of the Company's business. This is the first time I've ever seen a woman who's been in a relationship with someone else. For external communication, the previous proposal was made to improve the communication technology.

项目成果

田浦研究室ウェブサイト

田浦实验室网站

プロファイリングツールMassiveLoggerのソースコード

分析工具MassiveLogger源代码

分散共有メモリ処理系MENPSのソースコード

分布式共享内存处理系统MENPS源码

An Efficient Inter-Node Communication System with Lightweight-Thread Scheduling

一种轻量级线程调度的高效节点间通信系统

• DOI: 10.1109/hpcc/smartcity/dss.2019.00103
• 发表时间: 2019
• 期刊: Proceedings of 2019 IEEE 21st International Conference on High Performance Computing and Communications (HPCC)
• 作者: Fukuoka Takuya;Endo Wataru;Taura Kenjiro
• 通讯作者: Taura Kenjiro