Job management system with dynamic traffic control functionality

具有动态流量控制功能的作业管理系统

• 批准号: 21K11912
• 负责人: 伊達 進
• 金额: $ 2.66万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11912/
• 关键词: スケジューラ; DTN; ジョブ管理システム; 動的トラフィック制御; Data Centric

本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。具体的には、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性を解消する、ユーザの分散並列処理要求に対応した計算資源、および、計算ジョブの実行前後に発生しうる高性能計算機システム内部と外部のストレージ間のデータ移動に伴うネットワーク資源を統合的かつ一元的に制御・管理するトラフィック動的制御機能配備型ジョブ管理システムを中核技術として開発する。本目的のために、2年目となる2022年度は、高性能計算機システムに投入されるジョブ実行開始に合わせてシステム外のデータをオンタイムに移動させるため、大阪大学サイバーメディアセンターのスーパーコンピュータシステムで取得される実際の実行ジョブに関するデータの分析を行うとともに、機械学習を応用した高精度なジョブ実行開始時間予測手法の実現により、計算ジョブの待ち時間の最小化およびジョブスループットの最大化を可能とする手法にむけ、文献および技術調査に注力した。具体的には、実際の高性能計算機システムから得られたジョブデータに対して機械学習を応用して検証を進めている。

In this study, supercomputers are used to generate and acquire the latest data from external IoT servers (High Performance Computing: HPC) High Performance Computing (High Performance Data Analysis: HPDA) enables the implementation of resource management and resource management in a supercomputer environment. In particular, today's supercomputers require distributed parallel processing of computing resources. Supercomputer system internal and external system internal and external system internal and external For this purpose, in fiscal year 2022, Osaka University will launch a new supercomputer system to start operation and analysis of supercomputer systems. Mechanical learning is used to achieve high precision in the implementation of the method of prediction of the start time of the operation. The method of minimizing and maximizing the waiting time of the operation is also studied in the literature. In particular, supercomputer systems have been developed to support machine learning.

项目成果

Architecture of an On-Time Data Transfer Framework in Cooperation with Scheduler System

• DOI: 10.1007/978-3-030-93571-9_13
• 发表时间: 2021
• 作者: Kohei Yamamoto;Arata Endo;S. Date

Research Experiences of an On-Time Data Transfer Framework in Cooperation with Scheduler System and Future Directions

与调度系统配合的准时数据传输框架的研究经验及未来发展方向

• 发表时间: 2022
• 作者: Keichi Takahashi;Susumu Date;Dashdavaa Khureltulga;Yoshiyuki Kido;Hiroaki Yamanaka;Eiji Kawai;Shinji Shimojo;Susumu Date
• 通讯作者: Susumu Date

Osaka University’s Data Aggregation Infrastructure for Supporting Data-intensive Science

大阪大学支持数据密集型科学的数据聚合基础设施

• 发表时间: 2022
• 作者: 杉原健太;小野寺直幸;井戸村泰宏;山下晋;Susumu Date
• 通讯作者: Susumu Date