Implementation of Efficient Asynchronously Coupled Computation with Timed Buffer on NVDIMM

NVDIMM上定时缓冲区高效异步耦合计算的实现

• 批准号: 22K12049
• 负责人: 南里 豪志
• 金额: $ 2.58万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12049/
• 关键词: 高性能計算; NVDIMM; DPU; 連成計算

まず非同期連成計算用時系列バッファ領域のインタフェース設計に取り組んだ。非同期連成計算では、あるプログラムがバージョン毎に生成するデータを、別のプログラムが適宜参照する。そこで、データごとに生成側のプログラムを生産者、参照側のプログラムを消費者として登録し、役割に応じて操作する、生産者消費者モデルのインタフェースを設計した。生産者の基本操作は新規バージョンの追加のみとし、既存バージョンの書き換えを不可とする。この方針に基づき、生産プログラム側からバージョン番号と生成データをバッファに入力する関数、および、参照側から任意のバージョンのデータと取得する関数を設計した。さらに、バッファに空きを作るため、不要になったバージョンを削除する関数、およびデータをファイルに移動する関数も設計した。次にこれらの実装に取り組んだ。バッファへの入力関数は、バッファに空きがあれば即座にデータをコピーして終了し、空きが無ければ、参照側の操作で空きが生じるまで待つようにした。これらの動作を確認したところ、参照側のデータ取得の際のオーバヘッドが大きいことが判明した。そこで、一度のデータ取得で周辺のバージョンのデータも取得するキャッシュ機構を追加実装することで、オーバヘッドの低減を実現した。また、プログラミングインタフェースとしての実用性を確認するため、共同研究者の加藤、深沢、三宅らが開発している磁気流体シミュレーションプログラムとその可視化プログラムを利用して、連成計算の一つであるIn-situ可視化を実現し、問題なく利用できることを検証した。なお、本年度購入予定だったNVDIMMについては、開発元のIntel社が開発を停止したため、1年前に購入していた製品で代用することとした。一方、NVIDIA社の最新のネットワークカード BlueField2を購入することで通信時間を短縮し、実用性の向上を図った。

首先，我们在时间序列缓冲区区域的界面设计上进行了异步耦合计算。在异步耦合计算中，另一个程序适当地指每个版本生成的数据。因此，设计了生产者消费者模型的接口，其中将生成器程序注册为生产者，并且参考程序被注册为每个数据的消费者，并且根据该角色操作生产者。生产者的基本操作仅是添加新版本，并且不可能重写现有版本。基于此策略，将生产程序侧面输入版本编号和生成数据的函数转入缓冲区中，以及从参考侧检索数据的函数。此外，我们设计了删除不再需要的版本的功能，以及将数据移至文件的功能，以在缓冲区中自由空间。接下来，我们致力于实施这些。将输入函数到缓冲区立即复制数据并终止如果缓冲区中有可用空间，并且如果没有自由空间，它将等到引用操作中有可用空间。当确认这些操作时，发现在参考侧获取数据时的开销很大。因此，通过添加一种缓存机制，该缓存机制还可以通过一个数据采集从周围版本中获取数据，我们已经在开销中降低了。此外，为了确认其作为编程界面的实用性，我们使用了由合作者Kato，Fukasawa，Miyake等开发的磁性模拟程序及其可视化程序来实现现场可视化，这是耦合计算之一，并验证它可以在没有任何问题的情况下使用。此外，对于计划于今年购买的NVDIMM，开发人员英特尔已停止开发它，因此我们决定用一年前购买的产品代替它。同时，通过购买NVIDIA的最新网卡Bluefield2，我们减少了沟通时间并改善了实用性。