CNS Core: Small: Offline Inference for Ultra-Efficient Memory Management
CNS 核心:小型:离线推理以实现超高效内存管理
基本信息
- 批准号:2128653
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2021
- 资助国家:美国
- 起止时间:2021-10-01 至 2024-09-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Machine learning (ML) has made its way into systems of various kinds, helping them make informed decisions at critical points. A typical approach to ML-for-systems is to perform inference online by querying a model with runtime data. Online inference incurs non-trivial overheads, imposing a tight restriction on model size and complexity. In fact, systems that involve ML in their decision making often use very simple models (e.g., linear models) with inferior accuracy. This project develops a transformative approach to ML-for-systems - instead of doing online inference, this project advocates to train models that can predict runtime properties directly from program source code. As such, inference can be done offline and their results can be encoded and efficiently looked up during execution. Given that inference no longer contributes to run time, the proposed approach removes the above-discussed restrictions, enabling systems to employ state-of-the-art model architectures. This project further applies offline inference to memory management tasks that are critical to cloud applications. Modern society relies on services provided by large-scale systems. Improving the throughput and efficiency of such systems improves the service-level efficiency and scalability that human can experience in their lives. Replacing complicated and heuristics-driven decision making in today’s memory management systems with learning has a potential to dramatically reduce the cost of allocation and deallocation, which is a significant component in an application’s execution. Traditionally, inference is performed online, restricting what models to use and how high the accuracy can reach. This project develops techniques that make ML a more appealing approach by removing these restrictions. The techniques proposed span runtime system and ML. This interdisciplinary nature produces research that has impact in both areas. The project also makes efforts in education and diversity by incorporating research into courses and recruiting researchers from underrepresented groups.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
机器学习(ML)已经进入各种系统,帮助他们在关键时刻做出明智的决策。用于系统的ml的一种典型方法是通过查询具有运行时数据的模型来在线执行推理。在线推理产生了不小的开销,对模型大小和复杂性施加了严格的限制。事实上,在决策中涉及ML的系统通常使用非常简单的模型(例如线性模型),精度较低。这个项目开发了一种面向系统的机器学习的变革性方法——这个项目提倡训练可以直接从程序源代码预测运行时属性的模型,而不是进行在线推理。因此,推理可以离线完成,并且可以对其结果进行编码,并在执行期间有效地查找。假设推理不再对运行时有贡献,建议的方法消除了上面讨论的限制,使系统能够使用最先进的模型体系结构。该项目进一步将离线推理应用于对云应用程序至关重要的内存管理任务。现代社会依赖于大型系统提供的服务。提高此类系统的吞吐量和效率可以提高人们在生活中可以体验到的服务级效率和可伸缩性。用学习取代当今内存管理系统中复杂的启发式决策制定,有可能显著降低分配和回收的成本,这是应用程序执行中的一个重要组成部分。传统上,推理是在线进行的,这限制了使用什么模型以及能达到多高的精度。该项目开发了一些技术,通过消除这些限制,使ML成为一种更有吸引力的方法。提出的技术跨越了运行时系统和机器学习。这种跨学科的性质产生了对这两个领域都有影响的研究。该项目还通过将研究纳入课程和从代表性不足的群体中招募研究人员,在教育和多样性方面做出努力。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Harry Xu其他文献
A Tale of Two Paths: Toward a Hybrid Data Plane for Efficient Far-Memory Applications
两条路径的故事:走向高效远程内存应用的混合数据平面
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
Lei Chen;Shi Liu;Chenxi Wang;Haoran Ma;Yifan Qiao;†. ZheWang;†. ChenggangWu;Youyou Lu;†. XiaobingFeng;Huimin Cui;Shan Lu;Harry Xu - 通讯作者:
Harry Xu
VQPy: An Object-Oriented Approach to Modern Video Analytics
VQPy:现代视频分析的面向对象方法
- DOI:
- 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
Shan Yu;Zhenting Zhu;Yu Chen;Hanchen Xu;Pengzhan Zhao;Yang Wang;Arthi Padmanabhan;Hugo Latapie;Harry Xu - 通讯作者:
Harry Xu
Resource-Centric Serverless Computing
以资源为中心的无服务器计算
- DOI:
10.48550/arxiv.2206.13444 - 发表时间:
2022 - 期刊:
- 影响因子:0
- 作者:
Zhiyuan Guo;Zachary Blanco;Mohammad Shahrad;Zeru Wei;Bili Dong;Jinmou Li;Ishaan Pota;Harry Xu;Yiying Zhang - 通讯作者:
Yiying Zhang
Harry Xu的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Harry Xu', 18)}}的其他基金
CSR: Small: Elastic Soft State Cache as an OS Service
CSR:小型:弹性软状态缓存作为操作系统服务
- 批准号:
2330831 - 财政年份:2024
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Medium: Reinvented Data Plane for Memory-Disaggregated Datacenters
协作研究:CNS 核心:中:为内存分解数据中心重新发明数据平面
- 批准号:
2106838 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
CNS Core: Small: Semeru: A memory-disaggregated managed runtime
CNS 核心:小型:Semeru:内存分解的托管运行时
- 批准号:
2007737 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CSR: Small: Improved Memory Management for Object-Oriented Big Data Systems
CSR:小:改进面向对象大数据系统的内存管理
- 批准号:
1907352 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CSR: Small: Improved Memory Management for Object-Oriented Big Data Systems
CSR:小:改进面向对象大数据系统的内存管理
- 批准号:
1613023 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
SHF: Medium: Collaborative Research: Improved Performance Testing and Debugging
SHF:中:协作研究:改进的性能测试和调试
- 批准号:
1409829 - 财政年份:2014
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CSR: Small: Runtime System Support for Automated Object Recycling
CSR:小型:运行时系统支持自动对象回收
- 批准号:
1321179 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
相似国自然基金
胆固醇羟化酶CH25H非酶活依赖性促进乙型肝炎病毒蛋白Core及Pre-core降解的分子机制研究
- 批准号:82371765
- 批准年份:2023
- 资助金额:50 万元
- 项目类别:面上项目
锕系元素5f-in-core的GTH赝势和基组的开发
- 批准号:22303037
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于合成致死策略搭建Core-matched前药共组装体克服肿瘤耐药的机制研究
- 批准号:
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:
鼠伤寒沙门氏菌LPS core经由CD209/SphK1促进树突状细胞迁移加重炎症性肠病的机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于外泌体精准调控的“核-壳”(core-shell)同步血管化骨组织工程策略的应用与机制探讨
- 批准号:
- 批准年份:2020
- 资助金额:55 万元
- 项目类别:
肌营养不良蛋白聚糖Core M3型甘露糖肽的精确制备及功能探索
- 批准号:92053110
- 批准年份:2020
- 资助金额:70.0 万元
- 项目类别:重大研究计划
Core-1-O型聚糖黏蛋白缺陷诱导胃炎发生并介导慢性胃炎向胃癌转化的分子机制研究
- 批准号:81902805
- 批准年份:2019
- 资助金额:20.5 万元
- 项目类别:青年科学基金项目
原始地球增生晚期的Core-merging大碰撞事件:地核增生、核幔平衡与核幔边界结构的新认识
- 批准号:41973063
- 批准年份:2019
- 资助金额:65.0 万元
- 项目类别:面上项目
CORDEX-CORE区域气候模拟与预估研讨会
- 批准号:41981240365
- 批准年份:2019
- 资助金额:1.5 万元
- 项目类别:国际(地区)合作与交流项目
RBM38通过协助Pol-ε结合、招募core调控HBV复制
- 批准号:31900138
- 批准年份:2019
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
相似海外基金
CNS Core: Small: Core Scheduling Techniques and Programming Abstractions for Scalable Serverless Edge Computing Engine
CNS Core:小型:可扩展无服务器边缘计算引擎的核心调度技术和编程抽象
- 批准号:
2322919 - 财政年份:2024
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Network Wide Sensing by Leveraging Cellular Communication Networks
CNS 核心:小型:利用蜂窝通信网络进行全网络传感
- 批准号:
2343469 - 财政年份:2024
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Intelligent Fault Injection to Expose and Reproduce Production-Grade Bugs in Cloud Systems
CNS 核心:小型:智能故障注入以暴露和重现云系统中的生产级错误
- 批准号:
2317698 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Repurposing Smartphones to Minimize Carbon
CNS 核心:小型:重新利用智能手机以最大限度地减少碳排放
- 批准号:
2233894 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: A Compilation System for Mapping Deep Learning Models to Tensorized Instructions (DELITE)
合作研究:CNS Core:Small:将深度学习模型映射到张量化指令的编译系统(DELITE)
- 批准号:
2230945 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: NSF-AoF: CNS Core: Small: Towards Scalable and Al-based Solutions for Beyond-5G Radio Access Networks
合作研究:NSF-AoF:CNS 核心:小型:面向超 5G 无线接入网络的可扩展和基于人工智能的解决方案
- 批准号:
2225578 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Toward Opportunistic, Fast, and Robust In-Cache AI Acceleration at the Edge
CNS 核心:小型:在边缘实现机会主义、快速且稳健的缓存内 AI 加速
- 批准号:
2228028 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: SmartSight: an AI-Based Computing Platform to Assist Blind and Visually Impaired People
合作研究:中枢神经系统核心:小型:SmartSight:基于人工智能的计算平台,帮助盲人和视障人士
- 批准号:
2418188 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Redesigning I/O Across Heterogeneous Systems
CNS 核心:小型:跨异构系统重新设计 I/O
- 批准号:
2231724 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: Creating An Extensible Internet Through Interposition
合作研究:CNS核心:小:通过介入创建可扩展的互联网
- 批准号:
2242503 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant