ICE-T:RI: Towards End-to-End Resource Optimization for Time-Critical Computing Using Reinforcement Learning and Program Analysis
ICE-T:RI:使用强化学习和程序分析实现时间关键型计算的端到端资源优化
基本信息
- 批准号:1836881
- 负责人:
- 金额:$ 10万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2018
- 资助国家:美国
- 起止时间:2018-10-01 至 2020-09-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Data-intensive, time-critical applications generate an enormous amount of data that needs to be analyzed quickly. Resource optimization for time-critical computing faces many challenges including high demand on programming skills, difficulty in determining suitable parallelism degree, and great complexity in making resource allocation considering multiple optimization targets. To help in designing more efficient applications, this project investigates end-to-end resource optimization for time-critical computing using reinforcement learning and program analysis techniques. The approach integrates both resource request optimization by program analysis, and resource scheduling by reinforcement learning with consideration of time-critical features. The project will enhance our understanding of the challenges involved in addressing problem demand with reinforcement learning and semantics-aware program analysis.This project seeks to make the following novel contributions: (1) designing a semantics-aware optimization for data-intensive applications including two stages. The offline stage uses static program analysis for analyzing big data system primitives and user-defined functions to generate a parameterized data framework and fix partial performance flaws by rule-based and cost-based models. The online stage uses dynamic program analysis that instantiates a parameterized framework based on execution metrics to repair performance problems; (2) exploring the trade-off between enlarging parallelism degree and minimizing the amount of data shuffling across computing nodes; and (3) designing a reinforcement learning based model for resource allocation.This project initiates a research collaboration between the University of Central Florida and the University of Amsterdam, Netherlands.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
数据密集型、时间关键型应用程序会生成大量需要快速分析的数据。 时间关键计算的资源优化面临着许多挑战,包括对编程技能的高要求,难以确定合适的并行度,以及考虑多个优化目标的资源分配非常复杂。 为了帮助设计更高效的应用程序,该项目使用强化学习和程序分析技术研究了时间关键型计算的端到端资源优化。该方法集成了资源请求优化程序分析,并考虑时间关键的功能,通过强化学习资源调度。 本项目将加深我们对强化学习和语义感知程序分析解决问题需求所涉及的挑战的理解。本项目旨在做出以下新颖的贡献:(1)设计一个面向数据密集型应用的语义感知优化,包括两个阶段。离线阶段使用静态程序分析来分析大数据系统原语和用户自定义函数,以生成参数化数据框架,并通过基于规则和基于成本的模型修复部分性能缺陷。在线阶段使用动态程序分析,基于执行度量实例化一个参数化的框架来修复性能问题:(2)探索在增加并行度和减少跨计算节点的数据混洗量之间的权衡;以及(3)设计一个基于强化学习的资源分配模型。该项目启动了中佛罗里达大学和荷兰阿姆斯特丹大学。该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation From a Blackbox Model
- DOI:10.1109/cvpr42600.2020.00157
- 发表时间:2020-03
- 期刊:
- 影响因子:0
- 作者:Dongdong Wang;Yandong Li;Liqiang Wang;Boqing Gong
- 通讯作者:Dongdong Wang;Yandong Li;Liqiang Wang;Boqing Gong
Interaction Models for Detecting Nodal Activities in Temporal Social Media Networks
- DOI:10.1145/3365537
- 发表时间:2019-12
- 期刊:
- 影响因子:0
- 作者:Wingyan Chung;Bingbing Rao;Liqiang Wang
- 通讯作者:Wingyan Chung;Bingbing Rao;Liqiang Wang
LADRA: Log-based abnormal task detection and root-cause analysis in big data processing with Spark
LADRA:Spark 大数据处理中基于日志的异常任务检测和根本原因分析
- DOI:10.1016/j.future.2018.12.002
- 发表时间:2019
- 期刊:
- 影响因子:0
- 作者:Lu, Siyang;Wei, Yang;Rao, Bingbing;Tak, Byungchul;Wang, Long;Wang, Liqiang
- 通讯作者:Wang, Liqiang
Meteor: Optimizing spark-on-yarn for short applications
- DOI:10.1016/j.future.2019.05.077
- 发表时间:2019-12
- 期刊:
- 影响因子:0
- 作者:Hong Zhang;Hai Huang;Liqiang Wang
- 通讯作者:Hong Zhang;Hai Huang;Liqiang Wang
Deep Reinforcement Learning based Elasticity-compatible Heterogeneous Resource Management for Time-critical Computing
- DOI:10.1145/3404397.3404475
- 发表时间:2020-08
- 期刊:
- 影响因子:0
- 作者:Zixia Liu;Liqiang Wang;Gang Quan
- 通讯作者:Zixia Liu;Liqiang Wang;Gang Quan
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Liqiang Wang其他文献
Tensile propeties of in situ synthesized (TiB+LaO)/Ti composite
原位合成(TiB LaO)/Ti复合材料的拉伸性能
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
Liqiang Wang;Di Zhang;Jining Qing;Weijie Lu;Fan Zhang - 通讯作者:
Fan Zhang
Protein hydrogel networks: A unique approach to heteroatom self-doped hierarchically porous carbon structures as an efficient ORR electrocatalyst in both basic and acidic conditions
蛋白质水凝胶网络:杂原子自掺杂分级多孔碳结构的独特方法作为碱性和酸性条件下的高效 ORR 电催化剂
- DOI:
10.1016/j.apcatb.2019.01.050 - 发表时间:
2019 - 期刊:
- 影响因子:0
- 作者:
Liqiang Wang;Kaixin Liang;Liu Deng;You-Nian Liu - 通讯作者:
You-Nian Liu
FF-LINS: A Consistent Frame-to-Frame Solid-State-LiDAR-Inertial State Estimator
FF-LINS:一致的帧到帧固态激光雷达惯性状态估计器
- DOI:
10.1109/lra.2023.3329625 - 发表时间:
2023 - 期刊:
- 影响因子:5.2
- 作者:
Hailiang Tang;Tisheng Zhang;X. Niu;Liqiang Wang;Linfu Wei;Jingnan Liu - 通讯作者:
Jingnan Liu
Constraining the genesis of tungsten mineralization in the Jiaoxi deposit, Tibet: A fluid inclusion and H, O, S and Pb isotope investigation
西藏礁溪矿床钨成因的制约:流体包裹体及H、O、S、Pb同位素研究
- DOI:
10.1016/j.oregeorev.2021.104448 - 发表时间:
2021-08 - 期刊:
- 影响因子:3.3
- 作者:
Yong Wang;Juxing Tang;Liqiang Wang;Jan Marten Huizenga;M. Santosh - 通讯作者:
M. Santosh
A modulated sparse random matrix for high-resolution and high-speed 3D compressive imaging through a multimode fiber
通过多模光纤实现高分辨率和高速 3D 压缩成像的调制稀疏随机矩阵
- DOI:
10.1016/j.scib.2022.03.017 - 发表时间:
2022 - 期刊:
- 影响因子:18.9
- 作者:
Zhenyu Dong;Zhong Wen;Chenlei Pang;Liqiang Wang;Lan Wu;Xu Liu;Qing Yang - 通讯作者:
Qing Yang
Liqiang Wang的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Liqiang Wang', 18)}}的其他基金
RI: Medium: Collaborative Research: Understanding and Editing Visual Sentiment
RI:媒介:协作研究:理解和编辑视觉情感
- 批准号:
1704309 - 财政年份:2017
- 资助金额:
$ 10万 - 项目类别:
Continuing Grant
CAREER: Towards Scalable Error Detection for Parallel Software Systems on Emerging Computing Platforms
职业:在新兴计算平台上实现并行软件系统的可扩展错误检测
- 批准号:
1622292 - 财政年份:2015
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
CSR:Small: Towards Reliable Concurrent Computing Using Hybrid Program Analysis
CSR:小:使用混合程序分析实现可靠的并发计算
- 批准号:
1118059 - 财政年份:2011
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
CAREER: Towards Scalable Error Detection for Parallel Software Systems on Emerging Computing Platforms
职业:在新兴计算平台上实现并行软件系统的可扩展错误检测
- 批准号:
1054834 - 财政年份:2011
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
Enabling Large-Scale, High-Resolution, and Real-Time Earthquake Simulations on Petascale Parallel Computers
在千万亿级并行计算机上实现大规模、高分辨率和实时地震模拟
- 批准号:
0941735 - 财政年份:2009
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
相似国自然基金
醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
- 批准号:2025JJ90117
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病
中的机制研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于双修饰ANG-RNH1系统阻抑RI复合物生成机制建立口腔黏膜等效物血管化稳态
- 批准号:82401112
- 批准年份:2024
- 资助金额:30 万元
- 项目类别:青年科学基金项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
- 批准号:82301120
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于“免疫-神经”网络探讨眼针活化CI/RI大鼠MC靶向H3R调节“免疫监视”的抗炎机制
- 批准号:82374375
- 批准年份:2023
- 资助金额:51 万元
- 项目类别:面上项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
- 批准号:82300022
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
- 批准号:2022J011347
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
- 批准号:2022JJ70115
- 批准年份:2022
- 资助金额:0.0 万元
- 项目类别:省市级项目
相似海外基金
BIOINDUSTRY 4.0: RI services to promote deep digitalization of Industrial Biotechnology - towards smart biomanufacturing
生物工业4.0:RI服务促进工业生物技术深度数字化——迈向智能生物制造
- 批准号:
10048146 - 财政年份:2023
- 资助金额:
$ 10万 - 项目类别:
EU-Funded
RI services to promote deep digitalization of Industrial Biotechnology - towards smart biomanufacturing
RI服务促进工业生物技术深度数字化——迈向智能生物制造
- 批准号:
10069587 - 财政年份:2023
- 资助金额:
$ 10万 - 项目类别:
EU-Funded
Collaborative Research: CISE-MSI: DP: RI: Towards Scalable, Resilient and Robust Foraging with Heterogeneous Robot Swarms
合作研究:CISE-MSI:DP:RI:利用异构机器人群实现可扩展、有弹性和稳健的觅食
- 批准号:
2318682 - 财政年份:2023
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
Collaborative Research: CISE-MSI: DP: RI: Towards Scalable, Resilient and Robust Foraging with Heterogeneous Robot Swarms
合作研究:CISE-MSI:DP:RI:利用异构机器人群实现可扩展、有弹性和稳健的觅食
- 批准号:
2318683 - 财政年份:2023
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
RI services to promote deep digitalization of Industrial Biotechnology - towards smart biomanufacturing
RI服务促进工业生物技术深度数字化——迈向智能生物制造
- 批准号:
10068404 - 财政年份:2023
- 资助金额:
$ 10万 - 项目类别:
EU-Funded
RI: Small: Towards Abstractive Summarization That Preserves the Original Meaning
RI:小:走向保留原意的抽象概括
- 批准号:
2303678 - 财政年份:2022
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
RI: Small: Towards Provably Efficient Representation Learning in Reinforcement Learning via Rich Function Approximation
RI:小:通过丰富函数逼近实现强化学习中可证明有效的表示学习
- 批准号:
2154711 - 财政年份:2022
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
RI: Small: Towards Optimal and Adaptive Reinforcement Learning with Offline Data and Limited Adaptivity
RI:小型:利用离线数据和有限的适应性实现最优和自适应强化学习
- 批准号:
2007117 - 财政年份:2020
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
RI: Medium: Collaborative Research: Towards Practical Encoderless Robotics Through Vision-Based Training and Adaptation
RI:中:协作研究:通过基于视觉的训练和适应实现实用的无编码机器人技术
- 批准号:
1900953 - 财政年份:2019
- 资助金额:
$ 10万 - 项目类别:
Standard Grant
RI: Medium: Collaborative Research: Towards Practical Encoderless Robotics Through Vision-Based Training and Adaptation
RI:中:协作研究:通过基于视觉的训练和适应实现实用的无编码机器人技术
- 批准号:
1900681 - 财政年份:2019
- 资助金额:
$ 10万 - 项目类别:
Standard Grant