Scheduling method for data transfer of jobs with deadlines based on reinforcement learning

基于强化学习的有期限作业数据传输调度方法

基本信息

  • 批准号:
    22K12004
  • 负责人:
  • 金额:
    $ 2.66万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

科学技術計算や大規模データセンタで注目されているデッドライン付きデータ転送ジョブのスケジューリングに強化学習を適用する手法について研究を進めている。従来の強化学習では主に環境が確定的に変化する状況を対象としていていたが、デッドライン付きデータ転送ジョブでは環境がランダムに変化する点が大きく異なる。そこで環境がランダムに変化する問題に強化学習を適用することが本研究の特徴である。本研究への取り組みにおいて、大きく2つの観点が挙げられる。第一点目は、強化学習において効果的に学習を可能とするための、学習エピソードの選択であり、第二点目は、適した強化学習方法を明らかにすることである。本年度は、主に第一点目に着目し研究を進めた。ランダムに到着するジョブパターンから学習エピソードの難易度を考慮しながら学習エピソードを選択し強化学習を行い、強化学習の結果に基づいてジョブスケジュールを行うことで、ジョブのデッドライン成功率が向上するかの評価を進めた。深層強化学習アルゴリズムとしては、PolicyGradient法を適用した。学習エピソードは、広く知られているEarly Deadline First(EDF)アルゴリズムでは理想的なスケジューリングができないパターンを、難易度を変えて複数選択し実験を行った。実験の結果、難易度が低いパターンについて、EDFに対して提案手法がより理想的なスケジューリングを行うこと結果を得た。一方、難易度が高い場合においては、EDFに対して提案手法がより理想的なスケジューリングを行う結果を得ることが出来なかった。そこでカリキュラムラーニング(難易度が低い学習エピソードにて学習し続けて難易度が高い学習エピソードを用いて学習を行う)を適用し学習を行った。本結果から、僅かながらにカリキュラムラーニングの効果が確認された。本研究結果を取りまとめ、電子情報通信学会CQ研究会(5月)にて報告を行う。
Science and technology, computing や large-scale デ ー タ セ ン タ で attention さ れ て い る デ ッ ド ラ イ ン pay き デ ー タ planning send ジ ョ ブ の ス ケ ジ ュ ー リ ン グ に reinforcement learning を applicable す る gimmick に つ い を て research into め て い る. 従 to の reinforcement learning で は Lord が に environment determine に variations change す る condition を like と seaborne し て い て い た が, デ ッ ド ラ イ ン pay き デ ー タ planning send ジ ョ ブ で は environment が ラ ン ダ ム に variations change す る が き big く different な る. そ こ で environment が ラ ン ダ ム に variations change す る problem に reinforcement learning を applicable す る こ と が の, this study 徴 で あ る. In this study, へ へ takes the みにお へ て て group and the large <s:1> く2 観 観 points が挙げられる. The first は, reinforcement learning に お い て unseen fruit に learning を may と す る た め の, learning エ ピ ソ ー ド の sentaku で あ り, the second item は, optimum し た reinforcement learning method を Ming ら か に す る こ と で あ る. This year, the first project に of に and に is focusing on を research in めた. ラ ン ダ ム に to the す る ジ ョ ブ パ タ ー ン か ら learning エ ピ ソ ー ド の difficulty level を consider し な が ら learning エ ピ ソ ー ド を sentaku し reinforcement learning を い, reinforcement learning の results に づ い て ジ ョ ブ ス ケ ジ ュ ー ル を line う こ と で, ジ ョ ブ の デ ッ ド ラ イ ン が success rate upward す る か の review 価 を into め た. Deep reinforcement learning ア を ゴリズムと て て and the PolicyGradient method を are applicable to <s:1> た. Learning エ ピ ソ ー ド は, hiroo く know ら れ て い る Early Deadline First (EDF) ア ル ゴ リ ズ ム で は ideal な ス ケ ジ ュ ー リ ン グ が で き な い パ タ ー ン を, difficulty level を - え て plural sentaku し be 験 を line っ た. Be 験 の results, low degree of difficulty が い パ タ ー ン に つ い て, EDF に し seaborne て proposal gimmick が よ り ideal な ス ケ ジ ュ ー リ ン グ を line う こ た を と results. Side, high degree of difficulty が い に お い て は, EDF に し seaborne て proposal gimmick が よ り ideal な ス ケ ジ ュ ー リ ン グ を line う results る を こ と が out な か っ た. そ こ で カ リ キ ュ ラ ム ラ ー ニ ン グ (difficulty level low が い learning エ ピ ソ ー ド に て learning し 続 け て difficulty level high が い learn エ ピ ソ ー ド を with い て learning を line う) line し を apply learning を っ た. This result ら ら and only the が ながらにカリキュラムラ ニ ニ グ グ <s:1> results が confirm された. The results of this study を are taken from the を line う of the にて report of the CQ Research Society of the Electronic Information and Communication Society (may).

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
デッドラインアウェアなジョブのポリシー勾配法を用いたスケジューリングにおける無効ジョブの選別性能について
策略梯度法在截止日期感知作业调度中筛选无效作业的性能研究
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    匂阪竜也;塩本公平;栗本 崇
  • 通讯作者:
    栗本 崇
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗本 崇其他文献

最適制御問題における安定多様体上の解の 被覆制御を用いた網羅的な探索
使用覆盖控制详尽搜索最优控制问题中稳定流形的解
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    那須 豊;栗本 崇;岡本 聡;山中 直明;和田 拓巳
  • 通讯作者:
    和田 拓巳
セキュアな可視光通信システムにおけるサービス拡張化
安全可见光通信系统的服务扩展
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    岩崎昂大;瀬林克啓;丸山 充;小原 泰弘;栗本 崇;漆谷 重雄;谷本茂明,木内陽介
  • 通讯作者:
    谷本茂明,木内陽介
URLLCの実現を目指したパケット制御技術の検討
以实现URLLC为目的的分组控制技术研究
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    那須 豊;栗本 崇;岡本 聡;山中 直明
  • 通讯作者:
    山中 直明
End-to-end転送時間揺らぎ値をmsオーダーで保証するキュー読み出し制御手法の評価実験
保证ms量级端到端传输时间波动值的队列读出控制方法评估实验
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    那須 豊;栗本 崇;岡本 聡;山中 直明
  • 通讯作者:
    山中 直明
招待講演 エッジとクラウドの連携による8K超高精細映像処理システムの実現
特邀报告:边云协同实现8K超高清视频处理系统
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    丸山 充;瀬林克啓;君山 博之;青木 弘太;小島 一成;漆谷 重雄;栗本 崇;河合 栄治;大槻 英樹;小林 和真
  • 通讯作者:
    小林 和真

栗本 崇的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

相似海外基金

ワークフローエンジンとの連携に基づく臨機応変なジョブスケジューリングの実現
基于与工作流引擎协同的灵活作业调度的实现
  • 批准号:
    24K02945
  • 财政年份:
    2024
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Digital twin of a supercomputer for operation monitoring and automation
用于操作监控和自动化的超级计算机的数字孪生
  • 批准号:
    22K19764
  • 财政年份:
    2022
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
Development of system reliability improvement technology based on medium- to long-term failure prediction
基于中长期故障预测的系统可靠性提升技术开发
  • 批准号:
    21H03449
  • 财政年份:
    2021
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Coscheduling Methods for Next-Generation Large-Scaled Systems with Heterogenous Memories
具有异构存储器的下一代大规模系统的协同调度方法
  • 批准号:
    20K19766
  • 财政年份:
    2020
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
Autonomous HPC data center using machine learning
使用机器学习的自主 HPC 数据中心
  • 批准号:
    19H04121
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Large-scale Computer Network Evolution by All-optical Wireless Communication
全光无线通信大规模计算机网络演进
  • 批准号:
    19K20263
  • 财政年份:
    2019
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
Controlling a lifetime of PCM cells in a data center
控制数据中心内 PCM 单元的使用寿命
  • 批准号:
    16K16027
  • 财政年份:
    2016
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
先端的情報技術を用いた生産情報共有と協調的計画技術の研究
利用先进信息技术的生产信息共享与协同计划技术研究
  • 批准号:
    08F08764
  • 财政年份:
    2008
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
自律故障補償可能なWSI規模超高速神経回路網の実現とその応用に関する研究
WSI级超快故障自主补偿神经网络的实现与应用研究
  • 批准号:
    17700239
  • 财政年份:
    2005
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
並列計算機上での資源予約に基づくジョブスケジューリング技術に関する研究
并行计算机上基于资源预留的作业调度技术研究
  • 批准号:
    13780206
  • 财政年份:
    2001
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了