Scheduling method for data transfer of jobs with deadlines based on reinforcement learning

科学技術計算や大規模データセンタで注目されているデッドライン付きデータ転送ジョブのスケジューリングに強化学習を適用する手法について研究を進めている。従来の強化学習では主に環境が確定的に変化する状況を対象としていていたが、デッドライン付きデータ転送ジョブでは環境がランダムに変化する点が大きく異なる。そこで環境がランダムに変化する問題に強化学習を適用することが本研究の特徴である。本研究への取り組みにおいて、大きく２つの観点が挙げられる。第一点目は、強化学習において効果的に学習を可能とするための、学習エピソードの選択であり、第二点目は、適した強化学習方法を明らかにすることである。本年度は、主に第一点目に着目し研究を進めた。ランダムに到着するジョブパターンから学習エピソードの難易度を考慮しながら学習エピソードを選択し強化学習を行い、強化学習の結果に基づいてジョブスケジュールを行うことで、ジョブのデッドライン成功率が向上するかの評価を進めた。深層強化学習アルゴリズムとしては、PolicyGradient法を適用した。学習エピソードは、広く知られているEarly Deadline First(EDF)アルゴリズムでは理想的なスケジューリングができないパターンを、難易度を変えて複数選択し実験を行った。実験の結果、難易度が低いパターンについて、EDFに対して提案手法がより理想的なスケジューリングを行うこと結果を得た。一方、難易度が高い場合においては、EDFに対して提案手法がより理想的なスケジューリングを行う結果を得ることが出来なかった。そこでカリキュラムラーニング（難易度が低い学習エピソードにて学習し続けて難易度が高い学習エピソードを用いて学習を行う）を適用し学習を行った。本結果から、僅かながらにカリキュラムラーニングの効果が確認された。本研究結果を取りまとめ、電子情報通信学会CQ研究会（5月）にて報告を行う。

科学技術計算や大規模データセンタで注目されているデッドライン付きデータ転送ジョブのスケジューリングに強化学習を適用する手法について研究を進めている。従来の強化学習では主に環境が確定的に変化する状況を対象としていていたが、デッドライン付きデータ転送ジョブでは環境がランダムに変化する点が大きく異なる。そこで環境がランダムに変化する問題に強化学習を適用することが本研究の特徴である。本研究への取り組みにおいて、大きく２つの観点が挙げられる。第一点目は、強化学習において効果的に学習を可能とするための、学習エピソードの選択であり、第二点目は、適した強化学習方法を明らかにすることである。本年度は、主に第一点目に着目し研究を進めた。ランダムに到着するジョブパターンから学習エピソードの難易度を考慮しながら学習エピソードを選択し強化学習を行い、強化学習の結果に基づいてジョブスケジュールを行うことで、ジョブのデッドライン成功率が向上するかの評価を進めた。深層強化学習アルゴリズムとしては、PolicyGradient法を適用した。学習エピソードは、広く知られているEarly Deadline First(EDF)アルゴリズムでは理想的なスケジューリングができないパターンを、難易度を変えて複数選択し実験を行った。実験の結果、難易度が低いパターンについて、EDFに対して提案手法がより理想的なスケジューリングを行うこと結果を得た。一方、難易度が高い場合においては、EDFに対して提案手法がより理想的なスケジューリングを行う結果を得ることが出来なかった。そこでカリキュラムラーニング（難易度が低い学習エピソードにて学習し続けて難易度が高い学習エピソードを用いて学習を行う）を適用し学習を行った。本結果から、僅かながらにカリキュラムラーニングの効果が確認された。本研究結果を取りまとめ、電子情報通信学会CQ研究会（5月）にて報告を行う。