RI: Small: Accelerating Machine Learning via Randomized Automatic Differentiation

RI:小型:通过随机自动微分加速机器学习

基本信息

  • 批准号:
    2007278
  • 负责人:
  • 金额:
    $ 45万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2020
  • 资助国家:
    美国
  • 起止时间:
    2020-10-01 至 2024-09-30
  • 项目状态:
    已结题

项目摘要

Machine learning is having a tremendous impact on our society and economy, but it depends critically on the ability to efficiently fit a model to data. The technique of automatic differentiation takes software code written to build such a model and automatically performs the calculus derivations necessary to fit it to data. Automatic differentiation tools have been at the heart of the resurgence of neural networks for tackling problems ranging from drug discovery to self-driving cars. This project revisits core assumptions in the way that automatic differentiation works, and identifies new ways that it can take advantage of randomness to find better machine learning models, faster. This research will lead to new tools that expand the frontier of what machine learning systems are possible.The project will develop new techniques for automatic differentiation when it will be used as part of a stochastic optimization procedure, as is commonly done in training deep neural networks. Rather than exact Jacobian accumulation on the linearized computational graph, this project proposes techniques for selecting random subgraphs such that the Jacobian is preserved in expectation but much less memory and computation is required. Beyond randomization of the central Jacobian accumulation problem, the project will also explore how randomization can enable new approaches to implicit differentiation as used in PDE-constrained optimization and related problems. Additionally, the project will develop techniques for finding good, approximate near-optimal dynamic programming schedules for the linearized computational graph.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
机器学习对我们的社会和经济产生了巨大的影响,但它关键取决于有效地将模型与数据相匹配的能力。 自动微分技术需要编写软件代码来构建这样一个模型,并自动执行必要的微积分推导以使其适合数据。自动微分工具一直是神经网络复兴的核心,用于解决从药物发现到自动驾驶汽车等问题。 该项目以自动区分的工作方式重新审视了核心假设,并确定了可以利用随机性更快地找到更好的机器学习模型的新方法。 这项研究将带来新的工具,扩大机器学习系统的可能性。该项目将开发自动微分的新技术,当它被用作随机优化过程的一部分时,就像训练深度神经网络时通常做的那样。 而不是精确的雅可比积累的线性计算图,该项目提出了技术选择随机子图,这样的雅可比矩阵是保留在预期中,但需要更少的内存和计算。 除了中心雅可比累积问题的随机化之外,该项目还将探索随机化如何实现用于PDE约束优化和相关问题的隐式微分的新方法。此外,该项目将开发技术,找到良好的,近似接近最优的动态规划时间表的线性计算graph.This奖项反映了NSF的法定使命,并已被认为是值得通过评估使用基金会的智力价值和更广泛的影响审查标准的支持。

项目成果

期刊论文数量(10)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Gradient-Based Dovetail Joint Shape Optimization for Stiffness
Amortized Synthesis of Constrained Configurations Using a Differentiable Surrogate
  • DOI:
  • 发表时间:
    2021-06
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Xingyuan Sun;Tianju Xue;S. Rusinkiewicz;Ryan P. Adams
  • 通讯作者:
    Xingyuan Sun;Tianju Xue;S. Rusinkiewicz;Ryan P. Adams
Randomized Automatic Differentiation
  • DOI:
  • 发表时间:
    2020-07
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Deniz Oktay;N. McGreivy;Joshua Aduol;Alex Beatson;Ryan P. Adams
  • 通讯作者:
    Deniz Oktay;N. McGreivy;Joshua Aduol;Alex Beatson;Ryan P. Adams
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
  • DOI:
  • 发表时间:
    2021-07
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Dibya Ghosh;Jad Rahme;Aviral Kumar;Amy Zhang;Ryan P. Adams;S. Levine
  • 通讯作者:
    Dibya Ghosh;Jad Rahme;Aviral Kumar;Amy Zhang;Ryan P. Adams;S. Levine
More Stiffness with Less Fiber: End-to-End Fiber Path Optimization for 3D-Printed Composites
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Ryan Adams其他文献

Practice Makes Possible: Preliminary Feasibility of an Air Travel Accessibility Program for Children and Young Adults with Autism Spectrum Disorder and Their Families
  • DOI:
    10.1007/s41252-025-00445-1
  • 发表时间:
    2025-05-06
  • 期刊:
  • 影响因子:
    1.500
  • 作者:
    Jennifer D. Smith;Frank Wamsley;Arin Contra Gile;Stephanie Weber;Ryan Adams;Anna J. Esbensen;Rebecca C. Shaffer;Kara Ayers
  • 通讯作者:
    Kara Ayers
Erratum to: Peer Victimization and Educational Outcomes in Mainstreamed Adolescents with Autism Spectrum Disorder (ASD)
Erratum to: Children’s Attitudes About an Overweight or Non-overweight Weight Victim
  • DOI:
    10.1007/s10882-010-9216-y
  • 发表时间:
    2010-10-01
  • 期刊:
  • 影响因子:
    1.500
  • 作者:
    Laura Nabors;Myra Thomas;Lisa Vaughn;Ryan Adams;Joe Amaral;Brian T. Olsen;Christopher F. Bolling
  • 通讯作者:
    Christopher F. Bolling
1.19 LYMPHOCYTIC EXTRACELLULAR SIGNAL-RELATED KINASE DYSREGULATION IN ASD
  • DOI:
    10.1016/j.jaac.2019.08.041
  • 发表时间:
    2019-10-01
  • 期刊:
  • 影响因子:
  • 作者:
    Craig A. Erickson;Charles Tessier;Christina Gross;Ernest V. Pedapati;Logan K. Wink;Kelli Dominick;Rebecca Shaffer;Paul Horn;Ryan Adams;John Sweeney
  • 通讯作者:
    John Sweeney
The mechanics of prestress and elastic recovery resulting from dimple formation in steel sheets: Comprehensive numerical and experimental studies
钢板中凹坑形成引起的预应力和弹性恢复的力学:综合数值和实验研究

Ryan Adams的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Ryan Adams', 18)}}的其他基金

RI: Small: Parallel Methods for Large-Scale Probabilistic Inference
RI:小型:大规模概率推理的并行方法
  • 批准号:
    1829403
  • 财政年份:
    2017
  • 资助金额:
    $ 45万
  • 项目类别:
    Continuing Grant
RI: Small: Parallel Methods for Large-Scale Probabilistic Inference
RI:小型:大规模概率推理的并行方法
  • 批准号:
    1421780
  • 财政年份:
    2014
  • 资助金额:
    $ 45万
  • 项目类别:
    Continuing Grant
Microwave Circulators Based on Magnetostatic Waves
基于静磁波的微波循环器
  • 批准号:
    1028472
  • 财政年份:
    2010
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CC* INTEGRATION-SMALL: ADIABATIC MICROSERVICE LEVEL LOAD BALANCED FORWARDING ON PISA SWITCH FOR ACCELERATING URGENT PROCESSES IN SCIENCE DATA CENTER NETWORKS
CC* 集成小型:PISA 交换机上的绝热微服务级负载平衡转发,用于加速科学数据中心网络中的紧急进程
  • 批准号:
    2346729
  • 财政年份:
    2024
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CSR: Small: Accelerating Data Intensive Scientific Workflows with Consistency Contracts
CSR:小:通过一致性合同加速数据密集型科学工作流程
  • 批准号:
    2317556
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SBIR Phase II: Accelerating R&D through Streamlined Machine Learning Algorithms for Small Data Applications in Advanced Manufacturing
SBIR 第二阶段:加速 R
  • 批准号:
    2325045
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Cooperative Agreement
Collaborative Research: CNS Core: Small: Accelerating Serverless Cloud Network Performance
协作研究:CNS 核心:小型:加速无服务器云网络性能
  • 批准号:
    2229454
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Accelerating Serverless Cloud Network Performance
协作研究:CNS 核心:小型:加速无服务器云网络性能
  • 批准号:
    2229455
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CIF: Small: Accelerating Stochastic Approximation for Optimization and Reinforcement Learning
CIF:小型:加速优化和强化学习的随机逼近
  • 批准号:
    2306023
  • 财政年份:
    2023
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SHF: Small: A General Framework for Accelerating AI on Resource-Constrained Edge Devices
SHF:小型:在资源受限的边缘设备上加速 AI 的通用框架
  • 批准号:
    2211163
  • 财政年份:
    2022
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SHF: Small: NPU-based Architecture for Accelerating Deep Learning on Mobile Devices
SHF:小型:基于 NPU 的架构,用于加速移动设备上的深度学习
  • 批准号:
    2125208
  • 财政年份:
    2021
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Accelerating Privacy Preserving Deep Learning for Real-time Secure Applications
SaTC:核心:小型:加速实时安全应用程序的隐私保护深度学习
  • 批准号:
    2104264
  • 财政年份:
    2021
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
CNS Core: Small: AccelRITE: Accelerating ReInforcemenT Learning based AI at the Edge Using FPGAs
CNS 核心:小型:AccelRITE:使用 FPGA 在边缘加速基于强化学习的 AI
  • 批准号:
    2009057
  • 财政年份:
    2020
  • 资助金额:
    $ 45万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了