Dynamic task scheduling strategies for deep memory hierarchies in the future

未来深度内存层次结构的动态任务调度策略

• 批准号: 22KJ0677
• 负责人: 椎名 峻平
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22KJ0677/
• 关键词: タスク並列処理; タスクスケジューリング; 動的負荷分散; ワークスティーリング; 大域アドレス空間; PGAS; 高性能計算

本年度は、まず前年度より引き続き研究を行ってきたADWSの共有キャッシュ向けの改良版Multi-level ADWSについて、成果の取りまとめを行った。Multi-level ADWSはADWSをベースとして、共有キャッシュ容量に収まる程度の部分的な計算を一度に行っていくことで共有キャッシュ効率を改善させたものである。本年度はNUMA環境におけるMulti-level ADWSによる性能向上など追加の実験を行い、本成果は国際ジャーナルIEEE TPDSに採択された。次に、当初の研究計画とは少し異なるが、ADWSのようなタスクスケジューリングを複数計算機から成る分散メモリ型計算機上に拡張するための基盤技術について研究を行った。これまでのタスクスケジューリングは主に1つの計算機内のマルチコアに閉じた並列処理であり、より大規模な処理を行う場合にはスパコン等の分散メモリ型計算機に拡張する必要がある。今年度は主に分散ワークスティーリング技術について研究を行った。負荷分散の観点からは並列タスクないしスレッドを効率的に計算機をまたいで動的に移動させることが重要であるが、その性能についてはこれまであまり実験的に解析されていなかった。本研究ではこの点について深堀りし、積極的にスレッドを計算機間で移動させるコストは全体的に高くはなく、むしろ負荷分散の効率が向上することによるメリットが大きいことを示した。実験には東京大学のWisteria/BDEC-01 Odysseyスーパーコンピュータを用い、10万コア以上を用いて95%を超える高い並列化効率を示し、十分なスケーラビリティを確認した。本成果は国際会議Cluster '22で発表した。

Before this year は, ま ず annual よ り lead き 続 き を line っ て き た ADWS の mutual キ ャ ッ シ ュ to け の modified Multi - level ADWS に つ い て, results の take り ま と め を line っ た. Multi - level ADWS は ADWS を ベ ー ス と し て, mutual キ ャ ッ シ ュ capacity に 収 ま る の part な calculation of line を once に っ て い く こ と で mutual キ ャ ッ シ ュ を improve working rate さ せ た も の で あ る. This year's は NUMA environment に お け る Multi - level ADWS に よ る performance up な ど additional の be 験 を い, this results は international ジ ャ ー ナ ル IEEE TPDS に mining 択 さ れ た. に, の original research projects と は し less different な る が, ADWS の よ う な タ ス ク ス ケ ジ ュ ー リ ン グ を complex computer か ら into る メ モ リ に type computer company, zhang す る た め の base plate technology に つ い を line っ て research た. こ れ ま で の タ ス ク ス ケ ジ ュ ー リ ン グ は main に 1 つ の computer の マ ル チ コ ア に closed じ た parallel 処 Richard で あ り, よ り large-scale な 処 Richard を line う occasions に は ス パ コ ン etc. の scattered メ モ リ に type computer company, zhang す る necessary が あ る. Our は に Lord dispersed ワ ー ク ス テ ィ ー リ ン グ technology に つ い を line っ て research た. Point load decentralization の 観 か ら は parallel タ ス ク な い し ス レ ッ ド を sharper rate に computer を ま た い で moving に mobile さ せ る こ と が important で あ る が, そ の performance に つ い て は こ れ ま で あ ま り be 験 に resolution さ れ て い な か っ た. This study で は こ の point に つ い て deep Mr り し, positive に ス レ ッ ド を で between computer mobile さ せ る コ ス ト は all に high く は な く, む し ろ load decentralization の が sharper rate upward す る こ と に よ る メ リ ッ ト が big き い こ と を shown し た. Be 験 に は at the university of Tokyo の Wisteria/BDEC - 01 Odyssey ス ー パ ー コ ン ピ ュ ー タ を い, 100000 コ ア above を with い て 95% を super え る high い tied for the working rate を し, very な ス ケ ー ラ ビ リ テ ィ を confirm し た. This achievement was presented at the international conference Cluster '22で and た.

项目成果

Distributed Continuation Stealing is More Scalable than You Might Think

分布式连续窃取比您想象的更具可扩展性

• 发表时间: 2022
• 作者: YOSHIOKA Tatsushi;IYOKI Kenta;SANO Tsuneji;OKUBO Tatsuya;WAKIHARA Toru;吉岡 達史・伊與木 健太・堀田 悠介・上村 佳大・加藤 丈晴・クレイグ・A・J・フィッシャー・劉 振東・大西 良治・佐々木 優吉・遠藤 明・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;Shumpei Shiina and Kenjiro Taura;Shumpei Shiina and Kenjiro Taura
• 通讯作者: Shumpei Shiina and Kenjiro Taura

Improving Cache Utilization of Nested Parallel Programs by Almost Deterministic Work Stealing

• DOI: 10.1109/tpds.2022.3196192
• 发表时间: 2022-12
• 期刊: IEEE Transactions on Parallel and Distributed Systems
• 影响因子: 5.3
• 作者: Shumpei Shiina;K. Taura

分散ワークスティーリングと協調するキャッシュ機構を備えたPGAS処理系

配合分布式工作窃取的具有缓存机制的PGAS处理系统

• 发表时间: 2022
• 作者: YOSHIOKA Tatsushi;IYOKI Kenta;SANO Tsuneji;OKUBO Tatsuya;WAKIHARA Toru;吉岡 達史・伊與木 健太・堀田 悠介・上村 佳大・加藤 丈晴・クレイグ・A・J・フィッシャー・劉 振東・大西 良治・佐々木 優吉・遠藤 明・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;吉岡 達史・伊與木 健太・堀田 悠介・劉 振東・大西 良治・武脇 隆彦・佐野 庸治・大久保 達也・脇原 徹;Shumpei Shiina and Kenjiro Taura;Shumpei Shiina and Kenjiro Taura;椎名 峻平，田浦 健次朗
• 通讯作者: 椎名 峻平，田浦 健次朗