面向云平台短时作业的集群调度器配置优化关键技术研究

结题报告
项目介绍
AI项目解读

基本信息

  • 批准号：
    61872337
  • 项目类别：
    面上项目
  • 资助金额：
    64.0万
  • 负责人：
    韩锐
  • 依托单位：
    北京理工大学
  • 学科分类：
    F0202.系统软件、数据库与工业软件
  • 结题年份：
    2022
  • 批准年份：
    2018
  • 项目状态：
    已结题
  • 起止时间：
    2019-01-01 至2022-12-31

项目摘要

Cluster schedulers provide flexible resource sharing mechanism for short-running jobs that occupy a majority of cloud jobs. A scheduler's configuration decides how to allocate resources among jobs and hence it is crucial to their performances. Today's cloud platforms usually rely on cluster administrators to set the scheduler's configuration, and thus it is difficult to optimize the configuration according to the dynamically changing workloads and available resources at run-time. Based on the workload characteristics of short-running jobs, this project investigates the configuration optimization for cluster schedulers, including: (1) it abstracts schedulers' resource allocation strategies and their heterogeneous and dynamic impact factors (workloads and available resources) into business rules and input factors of the rule engine, and constructs an automatic optimization framework widely applicable to different scheduling scenarios. (2) It studies run-time configuration optimization techniques for large-scale clusters and dynamic workloads of short-running jobs, thereby improving job performance. (3) It addresses the challenge of guaranteeing low tail latency of highly parallel services (e.g. search engines and e-commerce sites) in resource-sharing cloud environment, and studies the optimization techniques under elastic available resources on different nodes, thus improving both job performance and cluster cost efficiency.
集群调度器为占云平台作业大多数的短时作业提供灵活的资源共享机制，其配置决定了作业间资源分配策略，因此对其性能至关重要。当前云平台往往依赖集群管理者对调度器进行配置，因而很难在系统运行时根据负载和可用资源的动态变化来优化配置，是进一步提升作业性能的关键技术难题。针对短时作业的特点，本项目将对调度器配置优化开展研究，具体包括：（1）将调度器资源分配策略及其复杂多变的影响因素（负载、可用资源）抽象为规则引擎中的业务规则和事实输入，构建广泛适用于各类场景的调度器配置自动优化框架。（2）针对大规模集群和动态短时作业负载，研究系统运行时配置优化技术，提升作业性能。（3）应对共享资源环境下保障高并发服务（如搜索引擎、电子商务网站）低长尾延迟的挑战，研究面向节点弹性可用资源的配置优化技术，提升作业性能和集群成本效益。

结项摘要

集群调度器是云计算平台资源管理的核心组件，其资源分配策略的合理配置对集群作业性能至关重要。本项目面向在云平台中占大多数的短时运行作业，以及近几年快速发展的云边协同作业，在应用层、调度层两个方面，研究云平台作业调度与优化关键技术。通过应用拓步建模、规则引擎、深度强化学习、动态规划等手段，本项目解决或部分解决了面向海量数据的短时作业处理优化、面向深度学习模型的云边协同作业推理与训练优化、运行时集群调度器配置自适用优化等问题。项目重点研究两个典型集群调度器：（1）YARN，通过Drools规则引擎推理不同负载以及调度器配置下集群性能，更新配置以优化性能；使用真实云平台作业评测提出的方法，减小运行时间1.94倍；（2）Kubernetes，通过深度强化学习代理实时监控集群状况，并进一步设置最优的集群调度器配置，对比Kubernetes中11个代表性调度算法，实现了作业运行时间的大幅降低（平均15.78%）；并进一步开发Kubernetes集群仿真器，将将深度学习模型训练速度提高了180倍以上。 进一步，开发基于真实集群日志的2项基准测试集，以评测提出方法的有效性，促进了云计算、边缘计算领域中集群优化问题的解决，项目承担人以一作和通讯作者发表或录用CCF A高水平论文9篇，获批国家发明专利和软件著作权各4项，出版著作2本，培养十余名博士硕士人才。

项目成果

期刊论文数量（5）
专著数量（2）
科研奖励数量（0）
会议论文数量（5）
专利数量（4）
Enhancing Robustness of On-Line Learning Models on Highly Noisy Data
增强高噪声数据在线学习模型的鲁棒性
  • DOI：
    10.1109/tdsc.2021.3063947
  • 发表时间：
    2021-03
  • 期刊：
    IEEE TRANSACTIONS ON DEPENDABLE AND SECURE COMPUTING (TDSC)
  • 影响因子：
    --
  • 作者：
    Zhao Zilong;Birke Robert;Rui Han;Robu Bogdan;Bouchenak Sara;Ben Mokhtar Sonia;Chen Lydia Y.
  • 通讯作者：
    Chen Lydia Y.
Lightweight and Accurate DNN-based Anomaly Detection at Edge
基于 DNN 的轻量级、准确的边缘异常检测
  • DOI：
    10.1109/tpds.2021.3137631
  • 发表时间：
    2021
  • 期刊：
    IEEE Transactions on Parallel and Distributed Systems
  • 影响因子：
    5.3
  • 作者：
    Qinglong Zhang;Rui Han;Gaofeng Xin;Chi Harold Liu;Guoren Wang;Lydia Y. Chen
  • 通讯作者：
    Lydia Y. Chen
Accelerating Gossip-Based Deep Learning in Heterogeneous Edge Computing Platforms
加速异构边缘计算平台中基于八卦的深度学习
  • DOI：
    10.1109/tpds.2020.3046440
  • 发表时间：
    2021-07-01
  • 期刊：
    IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS
  • 影响因子：
    5.3
  • 作者：
    Han, Rui;Li, Shilin;Chen, Lydia Y.
  • 通讯作者：
    Chen, Lydia Y.
Accelerating Deep Learning Systems via Critical Set Identification and Model Compression
通过关键集识别和模型压缩加速深度学习系统
  • DOI：
    10.1109/tc.2020.2970917
  • 发表时间：
    2020-07-01
  • 期刊：
    IEEE TRANSACTIONS ON COMPUTERS
  • 影响因子：
    3.7
  • 作者：
    Han, Rui;Liu, Chi Harold;Liu, Xue
  • 通讯作者：
    Liu, Xue
Workload-Adaptive Configuration Tuning for Hierarchical Cloud Schedulers
分层云调度程序的工作负载自适应配置调整
  • DOI：
    10.1109/tpds.2019.2923197
  • 发表时间：
    2019-12-01
  • 期刊：
    IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS
  • 影响因子：
    5.3
  • 作者：
    Han, Rui;Liu, Chi Harold;Zhan, Jianfeng
  • 通讯作者：
    Zhan, Jianfeng

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--"}}
  • 发表时间：
    {{ item.publish_year || "--" }}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--"}}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ monograph.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者：
    {{ item.authors }}

数据更新时间：{{ patent.updateTime }}

其他文献

成核剂的自成纤对聚丙烯结构与性能的影响
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    塑料
  • 影响因子：
    --
  • 作者：
    李怡俊;韩锐;聂敏
  • 通讯作者：
    聂敏
采用径向基神经网络的卫星网络申报趋势分析方法
  • DOI：
    --
  • 发表时间：
    --
  • 期刊：
    华侨大学学报（自然科学版）
  • 影响因子：
    --
  • 作者：
    石会鹏;潘冀;刘海洋;赵睿;刘珊杉;韩锐
  • 通讯作者：
    韩锐
二氧化钛陶瓷浆料的制备及其直写成型3D打印
  • DOI：
    10.13801/j.cnki.fhclxb.20210817.001
  • 发表时间：
    2021
  • 期刊：
    复合材料学报
  • 影响因子：
    --
  • 作者：
    李西敏;杨韬;彭必友;陈刚;韩锐;王倩
  • 通讯作者：
    王倩
Ni/SiO_2催化成碳协效膨胀阻燃PP的研究
  • DOI：
    --
  • 发表时间：
    2020
  • 期刊：
    塑料工业
  • 影响因子：
    --
  • 作者：
    彭红梅;韩锐
  • 通讯作者：
    韩锐
番荔枝果实多糖及抗氧化活性比较
  • DOI：
    --
  • 发表时间：
    2018
  • 期刊：
    食品科技,2018,43(11):190-195
  • 影响因子：
    --
  • 作者：
    韩锐;张园娇;陈亚运;季君洋;李祥;陈建伟
  • 通讯作者：
    陈建伟

其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI：
    {{ item.doi || "--" }}
  • 发表时间：
    {{ item.publish_year || "--"}}
  • 期刊：
    {{ item.journal_name }}
  • 影响因子：
    {{ item.factor || "--" }}
  • 作者：
    {{ item.authors }}
  • 通讯作者：
    {{ item.author }}
empty
内容获取失败，请点击重试
重试联系客服
title开始分析
查看分析示例
此项目为已结题，我已根据课题信息分析并撰写以下内容，帮您拓宽课题思路：

AI项目思路

AI技术路线图

韩锐的其他基金

面向深度学习模型的边缘侧领域自适应关键技术研究
  • 批准号：
  • 批准年份：
    2022
  • 资助金额：
    53 万元
  • 项目类别：
    面上项目
面向深度学习模型的边缘侧领域自适应关键技术研究
  • 批准号：
    62272046
  • 批准年份：
    2022
  • 资助金额：
    53.00 万元
  • 项目类别：
    面上项目

相似国自然基金

{{ item.name }}
  • 批准号：
    {{ item.ratify_no }}
  • 批准年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}

相似海外基金

{{ item.name }}
{{ item.translate_name }}
  • 批准号：
    {{ item.ratify_no }}
  • 财政年份：
    {{ item.approval_year }}
  • 资助金额：
    {{ item.support_num }}
  • 项目类别：
    {{ item.project_type }}
{{ showInfoDetail.title }}

作者：{{ showInfoDetail.author }}

知道了

AI项目解读示例

课题项目：调控A型流感病毒诱导IFN-β表达的机制研究

AI项目摘要：

本研究聚焦于TRIM2蛋白在A型流感病毒诱导的IFN-β表达中的调控机制。A型流感病毒是全球性健康问题，其感染可导致严重的呼吸道疾病。IFN-β作为关键的抗病毒因子，其表达水平对抗病毒防御至关重要。然而，TRIM2如何调控IFN-β的表达尚未明确。本研究假设TRIM2通过与病毒RNA或宿主因子相互作用，影响IFN-β的产生。我们将采用分子生物学、细胞生物学和免疫学方法，探索TRIM2与A型流感病毒诱导IFN-β表达的关系。预期结果将揭示TRIM2在抗病毒免疫反应中的作用，为开发新的抗病毒策略提供理论基础。该研究对理解宿主抗病毒机制具有重要科学意义，并可能对临床治疗流感病毒感染提供新的视角。

AI项目思路：

科学问题：TRIM2如何调控A型流感病毒诱导的IFN-β表达？
前期研究：已有研究表明TRIM2参与抗病毒反应，但其具体机制尚不明确。
研究创新点：本研究将深入探讨TRIM2在IFN-β表达中的直接作用机制。
技术路线：包括病毒学、分子生物学、细胞培养和免疫检测技术。
关键技术：TRIM2与病毒RNA的相互作用分析，IFN-β启动子活性检测。
实验模型：使用A型流感病毒感染的细胞模型进行研究。

AI技术路线图

        graph TD
          A[研究起始] --> B[文献回顾与假设提出]
          B --> C[实验设计与方法学准备]
          C --> D[A型流感病毒感染模型建立]
          D --> E[TRIM2与病毒RNA相互作用分析]
          E --> F[TRIM2对IFN-β启动子活性的影响]
          F --> G[IFN-β表达水平测定]
          G --> H[TRIM2功能丧失与获得研究]
          H --> I[数据收集与分析]
          I --> J[结果解释与科学验证]
          J --> K[研究结论与未来方向]
          K --> L[研究结束]
关闭
close
客服二维码