CRII: RI: Self-Attention through the Bayesian Lens

CRII:RI:贝叶斯视角下的自注意力

基本信息

  • 批准号:
    1850358
  • 负责人:
  • 金额:
    $ 17.5万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2019
  • 资助国家:
    美国
  • 起止时间:
    2019-03-15 至 2021-02-28
  • 项目状态:
    已结题

项目摘要

Self-attention, a recently introduced augmentation to neural network architectures, has greatly improved neural network performance in a range of applications, particularly natural language processing and computer vision. Based conceptually on the way the human brain processes complex visual information by learning to selectively focus on the most salient elements, self-attention improves network ability to capture long-range relations in data. However, there is limited study in quantifying uncertainties of the outputs of self-attention networks, though uncertainty quantification is critically important for reliable learning models. The uncertainty of a self-attention network highly depends on where the network pays its attention to. This project will model the uncertainties associated with attention placement, and thereby better quantify the uncertainty in network outputs. The research will also convert part of the architecture design to standard computational procedures by utilizing statistical methods, and thus facilitate the design of new network architectures. This project has a secondary aim of applying the self-attention mechanism to statistical inference for computational efficiency. Ultimately, this project will produce new network architectures that are more reliable and more broadly applicable. This research will also support the development of a deep learning course for both graduate and undergraduate students at Tufts University. This project examines self-attention networks using a Bayesian approach and proposes a new modification - Bayesian Self-Attention Networks (BSANs). While self-attention networks use "attention weights" to take information from a special range of the data, BSANs assign probabilities to attention weights. By modeling uncertainties in the attention, BSANs naturally inherit desirable properties of Bayesian methods, such as better estimations of uncertainties and less overfitting of data. BSANs will automate the computation of attention probabilities as statistical inference procedures, simplifying the design of new attention-based neural networks, which will only need to determine where to place the attention structure. The study of BSANs will result in new network architectures, with the potential to improve reliability over a wide span of tasks in both natural language processing and graph data analysis. In addition to BSANs, this project will also use the self-attention mechanism to construct probability distributions that involve large numbers of variables. Being flexible and computationally efficient, the constructed distributions will be suitable for distribution approximation in large-scale statistical inference. This project will produce computationally efficient inference methods for Gaussian processes, a widely used model in machine learning and other related areas.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
自我注意是最近在神经网络体系结构中引入的一种增强,它在一系列应用中极大地提高了神经网络的性能,特别是自然语言处理和计算机视觉。从概念上讲,通过学会有选择地关注最显著的元素,人类大脑处理复杂视觉信息的方式,自我注意提高了捕捉数据中长期关系的网络能力。然而,尽管不确定性量化对于可靠的学习模型至关重要,但对自我注意网络输出的不确定性进行量化的研究有限。自我注意网络的不确定性在很大程度上取决于网络关注的对象。该项目将对与注意放置相关的不确定性进行建模,从而更好地量化网络输出中的不确定性。该研究还将利用统计方法将部分体系结构设计转换为标准计算程序,从而为新的网络体系结构的设计提供便利。这个项目还有一个次要目标,就是将自我注意机制应用到统计推理中,以提高计算效率。最终,该项目将产生更可靠、更广泛适用的新网络体系结构。这项研究还将支持塔夫茨大学为研究生和本科生开发一门深度学习课程。这个项目使用贝叶斯方法来研究自我注意网络,并提出了一种新的修改-贝叶斯自我注意网络(BSAN)。自我注意网络使用“注意力权重”从特定范围的数据中获取信息,而BSAN则将概率分配给注意力权重。通过对注意力中的不确定性进行建模,BSAN自然继承了贝叶斯方法的理想特性,例如对不确定性的更好估计和对数据的较少过拟合。BSAN将自动计算注意力概率作为统计推理过程,简化新的基于注意力的神经网络的设计,这将只需要确定将注意力结构放置在哪里。对BSAN的研究将产生新的网络结构,有可能在自然语言处理和图形数据分析的广泛任务范围内提高可靠性。除了BSAN,该项目还将使用自我注意机制来构建涉及大量变量的概率分布。所构造的分布具有灵活性和计算效率高的特点,适合于大规模统计推断中的分布近似。这个项目将为机器学习和其他相关领域中广泛使用的模型-高斯过程产生计算高效的推理方法。这个奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(2)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Localizing and Amortizing: Efficient Inference for Gaussian Processes
本地化和摊销:高斯过程的有效推理
Kriging Convolutional Networks
  • DOI:
    10.1609/aaai.v34i04.5716
  • 发表时间:
    2020-04
  • 期刊:
  • 影响因子:
    0
  • 作者:
    G. Appleby;Linfeng Liu;Liping Liu
  • 通讯作者:
    G. Appleby;Linfeng Liu;Liping Liu
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Liping Liu其他文献

High‐grade endometrial stromal sarcoma of the endocervix: An extremely rare case report
宫颈内膜高级别子宫内膜间质肉瘤:极其罕见的病例报告
Oxidized low-density lipoprotein predicts recurrent stroke in patients with minor stroke or TIA
氧化低密度脂蛋白可预测轻微中风或 TIA 患者的复发性中风
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    9.9
  • 作者:
    Anxin Wang;Jie Xu;Guojuan Chen;David Wang;S. C. Johnston;X. Meng;Jinxi Lin;Hao Li;Yibin Cao;Nan Zhang;Caiyun Ma;L. Dai;Xingquan Zhao;Liping Liu;Yongjun Wang;Yilong Wang
  • 通讯作者:
    Yilong Wang
Comparison Study on Short Circuit Capability of 1.2 kV Split-Gate MOSFET and Split-Source MOSFET with Integrated JBS Diode
1.2 kV分栅MOSFET与集成JBS二极管的分源MOSFET短路能力对比研究
Autoimmune Encephalomyelitis Mice with Experimental − / − CXCR 3 Production in γ Migration , and Reduced IFN-Severe Disease , Unaltered Leukocyte
自身免疫性脑脊髓炎小鼠实验性 - / - γ 迁移中 CXCR 3 的产生,IFN-严重疾病减少,白细胞未改变
  • DOI:
  • 发表时间:
    2006
  • 期刊:
  • 影响因子:
    0
  • 作者:
    R. Ransohoff;Taofang Hu;J. DeMartino;B. Lu;C. Gerard;Liping Liu;Deren Huang;M. Matsui;Toby T. He
  • 通讯作者:
    Toby T. He
Optical and Geometrical Properties of Cirrus Clouds over the Tibetan Plateau Measured by Lidar and Radiosonde Sounding at the Summertime in 2014
2014年夏季激光雷达和无线电探空仪测量青藏高原卷云的光学和几何特性

Liping Liu的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Liping Liu', 18)}}的其他基金

Anomalous Diffusion: Physical Origins and Mathematical Analysis
反常扩散:物理起源和数学分析
  • 批准号:
    2306254
  • 财政年份:
    2023
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Continuing Grant
CAREER: New Frontiers in Graph Generation
职业:图生成的新领域
  • 批准号:
    2239869
  • 财政年份:
    2023
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Continuing Grant
CISE: RI: Small: Amortized Inference for Large-Scale Graphical Models
CISE:RI:小型:大规模图形模型的摊销推理
  • 批准号:
    1908617
  • 财政年份:
    2019
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
Polynomial inclusions: open problems and potential applications
多项式包含:开放问题和潜在应用
  • 批准号:
    1410273
  • 财政年份:
    2014
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
CAREER: Multiferroic Materials - Predictive Modeling, Multiscale Analysis, and Optimal Design
职业:多铁性材料 - 预测建模、多尺度分析和优化设计
  • 批准号:
    1351561
  • 财政年份:
    2014
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
Variational Inequalities and their Applications in the Predictive Modeling of Heterogeneous Media
变分不等式及其在异质介质预测建模中的应用
  • 批准号:
    1238835
  • 财政年份:
    2012
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
Variational Inequalities and their Applications in the Predictive Modeling of Heterogeneous Media
变分不等式及其在异质介质预测建模中的应用
  • 批准号:
    1101030
  • 财政年份:
    2011
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant

相似国自然基金

醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
  • 批准号:
    2025JJ90117
  • 批准年份:
    2025
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病 中的机制研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
基于双修饰ANG-RNH1系统阻抑RI复合物生成机制建立口腔黏膜等效物血管化稳态
  • 批准号:
    82401112
  • 批准年份:
    2024
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
  • 批准号:
    82301120
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于“免疫-神经”网络探讨眼针活化CI/RI大鼠MC靶向H3R调节“免疫监视”的抗炎机制
  • 批准号:
    82374375
  • 批准年份:
    2023
  • 资助金额:
    51 万元
  • 项目类别:
    面上项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
  • 批准号:
    82300022
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
  • 批准号:
    2022J011347
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
  • 批准号:
    2022JJ70115
  • 批准年份:
    2022
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目

相似海外基金

CRII: RI: Deep neural network pruning for fast and reliable visual detection in self-driving vehicles
CRII:RI:深度神经网络修剪,用于自动驾驶车辆中快速可靠的视觉检测
  • 批准号:
    2412285
  • 财政年份:
    2024
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
CRII: RI: Building A Self-Learning Robot System with Neuromorphic Computing
CRII:RI:构建具有神经形态计算的自学习机器人系统
  • 批准号:
    2245712
  • 财政年份:
    2023
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
RI: Medium: Foundations of Self-Supervised Learning Through the Lens of Probabilistic Generative Models
RI:媒介:通过概率生成模型的视角进行自我监督学习的基础
  • 批准号:
    2211907
  • 财政年份:
    2022
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
RI: Small: Advancing the Science of Generalizable and Personalizable Speech-Centered Self-Report Emotion Classifiers
RI:小:推进以语音为中心的可概括和个性化的自我报告情绪分类器的科学
  • 批准号:
    2230172
  • 财政年份:
    2022
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
CRII: RI: Deep neural network pruning for fast and reliable visual detection in self-driving vehicles
CRII:RI:深度神经网络修剪,用于自动驾驶车辆中快速可靠的视觉检测
  • 批准号:
    2153404
  • 财政年份:
    2022
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Living Architectures: From Army Ants to Self-Assembling Robots
合作研究:RI:媒介:活体建筑:从行军蚂蚁到自组装机器人
  • 批准号:
    1955210
  • 财政年份:
    2020
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
RI: Small: Visual Reasoning and Self-questioning for Explainable Visual Question Answering
RI:小:视觉推理和自我质疑以实现可解释的视觉问答
  • 批准号:
    2007613
  • 财政年份:
    2020
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
RI: Medium: Tree-Structured Self-Supervised Modeling for Natural Language
RI:中:自然语言的树结构自监督建模
  • 批准号:
    1955567
  • 财政年份:
    2020
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Continuing Grant
Collaborative Research: RI: Medium: Living Architectures: From Army Ants to Self-Assembling Robot Swarms
合作研究:RI:媒介:活体建筑:从行军蚂蚁到自组装机器人群
  • 批准号:
    1956019
  • 财政年份:
    2020
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
RI: Small: Variation and self-organization in multi-agent systems
RI:小:多智能体系统中的变化和自组织
  • 批准号:
    1816777
  • 财政年份:
    2018
  • 资助金额:
    $ 17.5万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了