课题基金 / 基金详情

基于多面体模型的深度学习张量编译器

批准号:
U20A20226
项目类别:
联合基金项目
资助金额:
260.0 万元
负责人:
翟季冬
依托单位:
学科分类:
人工智能安全与治理
结题年份:
2024
批准年份:
2020
项目状态:
已结题
项目参与者:
翟季冬

项目摘要

结项摘要

翟季冬的其他基金

相似基金

相关文献

中文摘要
深度学习应用对人工智能领域特定软硬件架构提出了很高的要求,现有深度学习框架和人工智能芯片的发展,仍无法满足编程易用性和计算力的需求。当前,在人工智能芯片上部署深度学习模型的人力物力成本仍然居高不下,面向深度学习的编译技术是阻碍深度学习应用发展的关键挑战。为了解决上述挑战,本项目开展基于多面体模型的深度学习编译器研究,具体包括:1)设计多面体模型友好的领域特定编程语言;2)兼顾计算空间和数据空间变换的多面体模型循环变换技术;3)面向人工智能芯片领域特定体系结构的轻量级代价模型;4)基于多面体模型的稀疏张量运算自动代码生成技术。本项目旨在实现一套面向人工智能芯片的自动高效编译器,显著降低当前手动生成优化代码的大量人力物力成本。本项目的研究有望解决人工智能芯片上自动编译的关键问题,为领域特定体系结构的代价模型以及基于稀疏运算的深度学习应用提供有效的解决方案。
英文摘要
Deep learning applications pose a severe demanding expectance to the domain-specific software and hardware of artificial intelligence. The development of existing deep learning frameworks and artificial intelligence chips, however, are still far from the expected programmability and computing power. Currently, the human and material costs required by the deployment of deep learning models on artificial intelligence chips are still very expensive. The deep learning compiler is becoming the crucial challenge inhibiting the development of deep learning applications.. .To solve this challenge, we study the deep learning compiler based on the polyhedral model in this project by (1) designing a domain-specific programming language that can benefit the power of the polyhedral model; (2) integrating the affine loop transformations by transforming both iteration and data spaces; (3) implementing a light-weight cost model for domain-specific architectures of artificial intelligence; and (4) automating code generation for sparse tensor computations in polyhedral compilation. The purpose of this project is to implement an effective tensor compiler for artificial intelligence chips, reducing the human and material costs required by existing manual approaches of code generation techniques for deep learning applications. More importantly, this project is promising to address the essential issues of compilation techniques for artificial intelligence chips, and also provide reasonable solutions to customizable cost models for domain-specific architectures and deep learning applications of sparse tensor computations.
深度学习模型在自然语言处理、图像分类、语音识别等领域取得了显著成果,推动了人工智能技术的发展。同时,为了降低编程复杂度,工业界和学术界研制了多款深度学习编程框架。深度学习编译器通过图层优化与算子层优化,为深度学习模型在人工智能芯片上生成高效的执行代码。然而,当前深度学习编译器在生成高效代码时面临如下挑战:(1)缺乏对稀疏模型和动态模型的有效支持;(2)缺少复杂人工智能芯片的准确代价模型;(3)静态编译技术缺乏领域知识的支持。这些挑战限制了深度学习编译器在人工智能领域的广泛应用。. 针对上述挑战,本项目从三个方面开展深入研究:第一,提出并实现了面向不规则张量程序的编译优化技术以及动态深度学习模型的编译方法,通过计算图的自动转化,显著提升了深度学习模型的性能;第二,提出并实现了面向多面体模型的轻量化代价模型和多面体代码生成技术,支持多种人工智能芯片的高效代码生成与混合精度编译,同时确保高性能与编译效率;第三,提出并实现了基于局部等价的张量程序变换方法,以及基于表达式的张量程序编译优化方法,提升了深度神经网络模型的性能。相关成果发表在OSDI、PLDI、ATC、MLSys、IEEE TPDS等系统领域顶级会议和期刊。. 项目严格按照任务书的计划开展,完成所有任务指标。在项目资助下,共发表45篇学术论文,包括CCF A类国际会议或期刊论文28篇。培养博士生8名、硕士生5名。项目负责人翟季冬作为指导教师指导的学生获得清华大学优秀博士学位论文奖。翟季冬获得国家杰出青年科学基金资助、中国计算机学会自然科学一等奖等。项目骨干赵捷获2023年ACM SIGHPC China新星奖等。项目资助的论文获2021年ACM ICS国际会议最佳学生论文奖,2022年IEEE TPDS最佳论文奖亚军等荣誉。
面向高性能云平台的并行程序优化关键技术研究
  • 批准号:
    61472201
  • 项目类别:
    面上项目
  • 资助金额:
    84.0万元
  • 批准年份:
    2014
  • 负责人:
    翟季冬
  • 依托单位:
基于进程相似性的大规模并行程序在线可扩展分析方法研究
  • 批准号:
    61103021
  • 项目类别:
    青年科学基金项目
  • 资助金额:
    24.0万元
  • 批准年份:
    2011
  • 负责人:
    翟季冬
  • 依托单位:
国内基金
海外基金