Scheduling method for data transfer of jobs with deadlines based on reinforcement learning

基于强化学习的有期限作业数据传输调度方法

• 批准号: 22K12004
• 负责人: 栗本 崇
• 金额: $ 2.66万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12004/
• 关键词: デッドライン付きデータ転送; ジョブスケジューリング; ランダムパターン; 強化学習; 機械学習; ランダム性

科学技術計算や大規模データセンタで注目されているデッドライン付きデータ転送ジョブのスケジューリングに強化学習を適用する手法について研究を進めている。従来の強化学習では主に環境が確定的に変化する状況を対象としていていたが、デッドライン付きデータ転送ジョブでは環境がランダムに変化する点が大きく異なる。そこで環境がランダムに変化する問題に強化学習を適用することが本研究の特徴である。本研究への取り組みにおいて、大きく２つの観点が挙げられる。第一点目は、強化学習において効果的に学習を可能とするための、学習エピソードの選択であり、第二点目は、適した強化学習方法を明らかにすることである。本年度は、主に第一点目に着目し研究を進めた。ランダムに到着するジョブパターンから学習エピソードの難易度を考慮しながら学習エピソードを選択し強化学習を行い、強化学習の結果に基づいてジョブスケジュールを行うことで、ジョブのデッドライン成功率が向上するかの評価を進めた。深層強化学習アルゴリズムとしては、PolicyGradient法を適用した。学習エピソードは、広く知られているEarly Deadline First(EDF)アルゴリズムでは理想的なスケジューリングができないパターンを、難易度を変えて複数選択し実験を行った。実験の結果、難易度が低いパターンについて、EDFに対して提案手法がより理想的なスケジューリングを行うこと結果を得た。一方、難易度が高い場合においては、EDFに対して提案手法がより理想的なスケジューリングを行う結果を得ることが出来なかった。そこでカリキュラムラーニング（難易度が低い学習エピソードにて学習し続けて難易度が高い学習エピソードを用いて学習を行う）を適用し学習を行った。本結果から、僅かながらにカリキュラムラーニングの効果が確認された。本研究結果を取りまとめ、電子情報通信学会CQ研究会（5月）にて報告を行う。

Science and technology, computing や large-scale デ ー タ セ ン タ で attention さ れ て い る デ ッ ド ラ イ ン pay き デ ー タ planning send ジ ョ ブ の ス ケ ジ ュ ー リ ン グ に reinforcement learning を applicable す る gimmick に つ い を て research into め て い る. 従 to の reinforcement learning で は Lord が に environment determine に variations change す る condition を like と seaborne し て い て い た が, デ ッ ド ラ イ ン pay き デ ー タ planning send ジ ョ ブ で は environment が ラ ン ダ ム に variations change す る が き big く different な る. そ こ で environment が ラ ン ダ ム に variations change す る problem に reinforcement learning を applicable す る こ と が の, this study 徴 で あ る. In this study, へ へ takes the みにお へ て て group and the large <s:1> く2 観 観 points が挙げられる. The first は, reinforcement learning に お い て unseen fruit に learning を may と す る た め の, learning エ ピ ソ ー ド の sentaku で あ り, the second item は, optimum し た reinforcement learning method を Ming ら か に す る こ と で あ る. This year, the first project に of に and に is focusing on を research in めた. ラ ン ダ ム に to the す る ジ ョ ブ パ タ ー ン か ら learning エ ピ ソ ー ド の difficulty level を consider し な が ら learning エ ピ ソ ー ド を sentaku し reinforcement learning を い, reinforcement learning の results に づ い て ジ ョ ブ ス ケ ジ ュ ー ル を line う こ と で, ジ ョ ブ の デ ッ ド ラ イ ン が success rate upward す る か の review 価 を into め た. Deep reinforcement learning ア を ゴリズムと て て and the PolicyGradient method を are applicable to <s:1> た. Learning エ ピ ソ ー ド は, hiroo く know ら れ て い る Early Deadline First (EDF) ア ル ゴ リ ズ ム で は ideal な ス ケ ジ ュ ー リ ン グ が で き な い パ タ ー ン を, difficulty level を - え て plural sentaku し be 験 を line っ た. Be 験 の results, low degree of difficulty が い パ タ ー ン に つ い て, EDF に し seaborne て proposal gimmick が よ り ideal な ス ケ ジ ュ ー リ ン グ を line う こ た を と results. Side, high degree of difficulty が い に お い て は, EDF に し seaborne て proposal gimmick が よ り ideal な ス ケ ジ ュ ー リ ン グ を line う results る を こ と が out な か っ た. そ こ で カ リ キ ュ ラ ム ラ ー ニ ン グ (difficulty level low が い learning エ ピ ソ ー ド に て learning し 続 け て difficulty level high が い learn エ ピ ソ ー ド を with い て learning を line う) line し を apply learning を っ た. This result ら ら and only the が ながらにカリキュラムラ ニ ニ グ グ <s:1> results が confirm された. The results of this study を are taken from the を line う of the にて report of the CQ Research Society of the Electronic Information and Communication Society (may).

项目成果

デッドラインアウェアなジョブのポリシー勾配法を用いたスケジューリングにおける無効ジョブの選別性能について

策略梯度法在截止日期感知作业调度中筛选无效作业的性能研究

• 发表时间: 2023
• 作者: 匂阪竜也;塩本公平;栗本 崇
• 通讯作者: 栗本 崇