Job management system with dynamic traffic control functionality

点击翻译按钮获取中文摘要

本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。具体的には、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性を解消する、ユーザの分散並列処理要求に対応した計算資源、および、計算ジョブの実行前後に発生しうる高性能計算機システム内部と外部のストレージ間のデータ移動に伴うネットワーク資源を統合的かつ一元的に制御・管理するトラフィック動的制御機能配備型ジョブ管理システムを中核技術として開発する。本目的のために、2年目となる2022年度は、高性能計算機システムに投入されるジョブ実行開始に合わせてシステム外のデータをオンタイムに移動させるため、大阪大学サイバーメディアセンターのスーパーコンピュータシステムで取得される実際の実行ジョブに関するデータの分析を行うとともに、機械学習を応用した高精度なジョブ実行開始時間予測手法の実現により、計算ジョブの待ち時間の最小化およびジョブスループットの最大化を可能とする手法にむけ、文献および技術調査に注力した。具体的には、実際の高性能計算機システムから得られたジョブデータに対して機械学習を応用して検証を進めている。