Digital twin of a supercomputer for operation monitoring and automation

用于操作监控和自动化的超级计算机的数字孪生

基本信息

批准号：
22K19764
负责人：
滝沢寛之
金额：
$ 4.08万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19764/
关键词：
ジョブスケジューリング高性能計算システムデジタルツイン

项目摘要

本研究では、実運用システムのジョブスケジューラを忠実に模擬するデジタルツインを開発する。ジョブスケジューリングを模擬するシミュレータはすでに多数開発されているが、デジタルツインと呼べるほどには実運用システムの挙動と一致しないことが事前の検討で分かっている。このため、令和4年度は影響が大きい要因を明確化し、実運用スーパーコンピュータにおけるジョブスケジューリングをより忠実に再現することを目標として取り組んだ。その結果として、東北大学のスーパーコンピュータAOBAで実際に行われた既知のジョブスケジューリングとできるだけ一致するジョブスケジューリングシミュレータを開発した。また、強化学習によって電力制御に関するジョブスケジューラのパラメータを自動調整する研究や、AOBAで実運用されているリアルタイム津波浸水被害推計システムを想定して、津波シミュレーションの緊急実行の効率化のためのジョブスケジューリング手法を検討した。リアルタイムシミュレーションに必要な計算資源量を予測して動的に割り当てるジョブスケジューリング手法も提案し、その有用性を示すことができた。これらはより複雑なジョブスケジューリングが求められる場合を想定した研究開発であり、ジョブスケジューラやそのシミュレータの現在の機能と限界、および将来の開発の方向性を明確化することができた。さらには、来年度以降の研究内容の予備調査として、ジョブスケジューリングに機械学習技術を導入する際に課題となる学習データ不足を、敵対的生成ネットワーク(Generative Adversarial Network, GAN)を用いたデータ拡張により解消する研究も先行して行っている。実データのみを学習データとして利用する場合と比較して、拡張データを用いることで機械学習モデルによる要求資源量予測の精度が向上することが示されている。

在这项研究中，我们将开发一个数字双胞胎，该数字双胞胎忠实地模拟了现实世界系统的工作调度程序。尽管已经开发了许多模拟作业计划的模拟器，但已经发现，实际系统的行为与数字双胞胎的行为不符。因此，在2022年，目标是阐明具有重大影响的因素，并更忠实地重现实用超级计算机的工作时间表。结果，我们开发了一个工作模拟器，该模拟器在Toohoku University的超级计算机AOBA中与尽可能多的已知工作计划匹配。此外，我们还研究了一项研究，以自动调整有关使用强化学习的有关功率控制的工作调度程序的参数，以及一种考虑实际由AOBA操作的实时海啸洪水损害估计系统，以提高海啸模拟紧急执行的工作调度方法。我们还提出了一种工作调度方法，该方法可以预测并动态地分配实时仿真所需的计算资源量，并证明其有用性。这些是用于更复杂的工作计划的研究和发展，并能够阐明工作调度程序及其模拟器的当前功能和局限性以及未来发展的方向。此外，作为对明年研究内容的初步调查，我们正在进行研究以解决学习数据的短缺，这是通过使用敌对生成网络（GAN）扩展的数据扩展将机器学习技术引入工作计划的挑战。与仅将实际数据用作培训数据的情况相比，已经表明，使用扩展数据提高了使用机器学习模型预测所需资源数量的准确性。