NCS-FO: Brain-Informed Goal-Oriented and Bidirectional Deep Emotion Inference

NCS-FO:大脑知情的目标导向双向深度情感推理

基本信息

  • 批准号:
    2318984
  • 负责人:
  • 金额:
    $ 92万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-09-01 至 2027-08-31
  • 项目状态:
    未结题

项目摘要

Human emotions are dynamic, multidimensional responses to challenges and opportunities that emerge from network interactions in the brain. Disruptions of these dynamics underlie emotional dysregulation in many mental disorders including anxiety and depression. To empirically study the neural basis of human emotion inference, experimenters often have observers view natural images varying in affective content, while at the same time recording their brain activity using electroencephalogram (EEG) and/or Functional magnetic resonance imaging (fMRI). Despite extensive research over the last few decades, much remains to be learned about the computational principles subserving the recognition of emotions in natural scenes. A major roadblock faced by empirical neuroscientists is the inability to carry out precisely manipulate human neural systems and test the consequences in imaging data. Deep Neural Networks (DNN), owing to their high relevance to human neural systems and extraordinary prediction capability, have become a promising tool for testing these sorts of hypotheses in swift and nearly costless computer simulations. The overarching goal of this project is to develop a neuroscience-inspired, DNN-based deep learning framework for emotion inference in real-world scenarios by synergistically integrating neuron-, circuit-, and system-level mechanisms. Recognizing that the state-of-the-art DNNs are centered on bottom-up and feedforward-only processing, which disagrees with the strong goal-oriented top-down modulation recurrence observed in the physiology, this project aims to enrich DNNs and enable closer AI-neuroscience interaction by incorporating goal-oriented top-down modulation and reciprocal interactions DNNs and test the model assumptions and predictions on neuroimaging data.To meet these goals, the project aims to develop a brain-inspired goal-oriented and bidirectional deep learning model for emotion inference. Despite the great promise shown by today’s deep learning as a framework for modeling biological vision, their architecture is limited to emulating the visual cortex for face/object/scene recognition and rarely goes beyond the inferotemporal cortex (IT), which is necessary for modeling high-level cognitive processes. In this project, we propose to build a biologically plausible deep learning architecture by integrating an in-silico amygdala module into the visual cortex architecture in DNN (the VCA model). The researchers hope to build neuron-, circuit-, and system-level modulation via goal-oriented attention priming, and multi-pathway predictive coding to 1) elucidate the mechanism of selectivity underlying preference and response to naturalistic emotions by artificial neurons; 2) differentiate fine-grained emotional responses via multi-path predictive coding, and 3) refine the neuroscientific understanding of human neuro-behavioral data by comparing attention priming and temporal generalization observed in simultaneous fMRI-EEG data to the computational observations using our brain-inspired VCA model. This project introduces two key innovations, both patterned after how brain operates, into DNN architecture and demonstrate their superior performance when applied to complex real-world tasks. Successful execution of the project can lead to the development of a new generation of AI-models that are inspired by neuroscience and that may in turn power neuroscience research.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
人类情绪是对大脑中网络互动中出现的挑战和机会做出的动态、多维的反应。这些动力的破坏是许多精神障碍的情绪失调的基础,包括焦虑和抑郁。为了经验性地研究人类情绪推理的神经基础,实验者通常让观察者观看情感内容不同的自然图像,同时使用脑电(EEG)和/或功能磁共振成像(FMRI)记录他们的大脑活动。尽管在过去的几十年里进行了广泛的研究,但关于自然场景中情感识别的计算原理仍有许多需要了解。经验神经学家面临的一个主要障碍是无法进行精确的人类神经系统操作,并无法在成像数据中测试结果。深度神经网络(DNN)由于其与人类神经系统的高度相关性和非凡的预测能力,已成为在快速且几乎不花费成本的计算机模拟中检验这类假设的一种很有前途的工具。该项目的总体目标是开发一个受神经科学启发的、基于DNN的深度学习框架,通过协同集成神经元、电路和系统级别的机制来进行真实世界场景中的情感推理。考虑到最新的DNN集中于自下而上和仅前馈的处理,这与生理学中观察到的强烈的目标导向的自上而下的调制重复不一致,本项目旨在通过结合目标导向的自上而下调制和交互DNN来丰富DNN,并使更紧密的AI-神经科学交互成为可能,并在神经成像数据上测试模型假设和预测。为了实现这些目标,本项目旨在开发一个受大脑启发的目标导向的双向深度学习模型,用于情绪推理。尽管当今的深度学习作为生物视觉建模的框架显示出巨大的前景,但它们的体系结构仅限于模拟人脸/对象/场景识别的视觉皮质,很少超越建模高级认知过程所必需的颞下皮质(IT)。在这个项目中,我们建议通过将硅内杏仁核模块集成到DNN(VCA模型)的视觉皮质结构中来构建一个生物学上可行的深度学习结构。研究人员希望通过目标导向的注意启动和多路径预测编码建立神经元、电路和系统级别的调制,以1)阐明人工神经元对自然情感偏好和反应的选择性机制;2)通过多路径预测编码区分细粒度的情感反应;3)通过比较同时在fMRI-EEG数据中观察到的注意启动和时间概括与我们的大脑启发的VCA模型的计算观察,来完善对人类神经行为数据的神经科学理解。该项目在DNN架构中引入了两个关键创新,都是模仿Brain的运作方式,并展示了它们在应用于复杂的现实世界任务时的卓越性能。该项目的成功实施可以导致新一代人工智能模型的开发,这些模型受到神经科学的启发,并可能反过来推动神经科学研究。该奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Ruogu Fang其他文献

BrainFounder: Towards Brain Foundation Models for Neuroimage Analysis
BrainFounder:迈向神经图像分析的大脑基础模型
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Joseph Cox;Peng Liu;Skylar E. Stolte;Yunchao Yang;Kang Liu;Kyle B. See;Huiwen Ju;Ruogu Fang
  • 通讯作者:
    Ruogu Fang
Building tDCS Digital Twins: AI-Powered Prediction of Personalized Electrical Field Maps from MRI
构建 tDCS 数字孪生:基于 MRI 的个性化电场图的人工智能驱动预测
  • DOI:
    10.1016/j.brs.2024.12.1101
  • 发表时间:
    2025-01-01
  • 期刊:
  • 影响因子:
    8.400
  • 作者:
    Skylar E. Stolte;Aprinda Indahlastari;Alejandro Albizu;Adam J. Woods;Ruogu Fang
  • 通讯作者:
    Ruogu Fang
Robust Low-Dose CT Perfusion Deconvolution via Tensor Total-Variation Regularization.
  • DOI:
    10.1109/tmi.2015.2405015
  • 发表时间:
    2015-07
  • 期刊:
  • 影响因子:
    10.6
  • 作者:
    Ruogu Fang;Shaoting Zhang;Tsuhan Chen;Sanelli PC
  • 通讯作者:
    Sanelli PC
BrainSegFounder: Towards 3D foundation models for neuroimage segmentation
大脑分割创始人:迈向神经影像分割的三维基础模型
  • DOI:
    10.1016/j.media.2024.103301
  • 发表时间:
    2024-10-01
  • 期刊:
  • 影响因子:
    11.800
  • 作者:
    Joseph Cox;Peng Liu;Skylar E. Stolte;Yunchao Yang;Kang Liu;Kyle B. See;Huiwen Ju;Ruogu Fang
  • 通讯作者:
    Ruogu Fang
Learning on Forecasting HIV Epidemic Based on Individuals' Contact Networks
基于个人接触网络预测艾滋病疫情的学习
  • DOI:
    10.5220/0012375400003657
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Chaoyue Sun;Yiyang Liu;Christina Parisi;Rebecca J Fisk;Marco Salemi;Ruogu Fang;Brandi Danforth;M. Prosperi;S. Marini
  • 通讯作者:
    S. Marini

Ruogu Fang的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Ruogu Fang', 18)}}的其他基金

III: Small: Modeling Multi-Level Connectivity of Brain Dynamics
III:小:模拟大脑动力学的多级连接
  • 批准号:
    1908299
  • 财政年份:
    2019
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
CRII: SCH: Characterizing, Modeling and Evaluating Brain Dynamics
CRII:SCH:大脑动力学特征描述、建模和评估
  • 批准号:
    1758430
  • 财政年份:
    2017
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
CRII: SCH: Characterizing, Modeling and Evaluating Brain Dynamics
CRII:SCH:大脑动力学特征描述、建模和评估
  • 批准号:
    1564892
  • 财政年份:
    2016
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant

相似国自然基金

影像分型预测HAIC-FO优势肝癌人群及影 像基因组学的研究
  • 批准号:
  • 批准年份:
    2025
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
ATP合酶Fo基团在酸性环境的生理活性及其作用机制
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    15.0 万元
  • 项目类别:
    省市级项目
烟曲霉F1Fo-ATP合成酶β亚基在侵袭性曲霉病发生中的作用及机制研究
  • 批准号:
    82304035
  • 批准年份:
    2023
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
白念珠菌F1Fo-ATP合酶中创新药靶的识别与确认研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
    面上项目
GRACE-FO高精度姿态数据处理及其对时变重力场影响的研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
ATP合酶FO亚基参与调控弓形虫ATP合成的分子机制
  • 批准号:
    32202832
  • 批准年份:
    2022
  • 资助金额:
    30 万元
  • 项目类别:
    青年科学基金项目
顾及GRACE-FO极轨特性的高分辨率Mascon时变重力场建模理论与方法
  • 批准号:
  • 批准年份:
    2021
  • 资助金额:
    59 万元
  • 项目类别:
    面上项目
GRACE-FO微波测距系统原始数据处理、噪声分析与评估
  • 批准号:
  • 批准年份:
    2021
  • 资助金额:
    58 万元
  • 项目类别:
    面上项目
利用GRACE-FO和中国重力卫星协同探测时变重力场和质量分布变化
  • 批准号:
    42061134010
  • 批准年份:
    2020
  • 资助金额:
    万元
  • 项目类别:
    国际(地区)合作与交流项目
联合GRACE/GRACE-FO和GNSS形变数据反演连续精细的区域地表质量变化
  • 批准号:
    41974015
  • 批准年份:
    2019
  • 资助金额:
    63.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: NCS-FO: Dynamic Brain Graph Mining
合作研究:NCS-FO:动态脑图挖掘
  • 批准号:
    2319450
  • 财政年份:
    2023
  • 资助金额:
    $ 92万
  • 项目类别:
    Continuing Grant
Collaborative Research: NCS-FO: Dynamic Brain Graph Mining
合作研究:NCS-FO:动态脑图挖掘
  • 批准号:
    2319451
  • 财政年份:
    2023
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
NCS-FO: Understanding the computations the brain performs during choice
NCS-FO:了解大脑在选择过程中执行的计算
  • 批准号:
    2319580
  • 财政年份:
    2023
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
Collaborative Research: NCS-FO: Dynamic Brain Graph Mining
合作研究:NCS-FO:动态脑图挖掘
  • 批准号:
    2319449
  • 财政年份:
    2023
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
NCS-FO: Conformable, expandable neural interface devices to assay natural cognitive maturation of the developing brain
NCS-FO:顺应性、可扩展的神经接口设备,用于测定发育中大脑的自然认知成熟度
  • 批准号:
    2219891
  • 财政年份:
    2022
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
NCS-FO: Integrated neuroengineering of brain-inspired algorithms for parsing realistic environments
NCS-FO:用于解析现实环境的受大脑启发的算法的集成神经工程
  • 批准号:
    2123862
  • 财政年份:
    2021
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
Collaborative Research: NCS-FO: Studying language in the brain in the modern machine learning era
合作研究:NCS-FO:研究现代机器学习时代大脑中的语言
  • 批准号:
    2124052
  • 财政年份:
    2021
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
Collaborative Research: NCS: FO: Enhancing Episodic Memory through Real-world Integration of Brain Recording and Stimulation with Semantic Alignment of Human and IoT Perception
合作研究:NCS:FO:通过在现实世界中整合大脑记录和刺激以及人类和物联网感知的语义对齐来增强情景记忆
  • 批准号:
    2124252
  • 财政年份:
    2021
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
Collaborative Research: NCS-FO: Studying language in the brain in the modern machine learning era
合作研究:NCS-FO:研究现代机器学习时代大脑中的语言
  • 批准号:
    2123818
  • 财政年份:
    2021
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
Collaborative Research: NCS: FO: Enhancing Episodic Memory through Real-world Integration of Brain Recording and Stimulation with Semantic Alignment of Human and IoT Perception
合作研究:NCS:FO:通过在现实世界中整合大脑记录和刺激以及人类和物联网感知的语义对齐来增强情景记忆
  • 批准号:
    2124130
  • 财政年份:
    2021
  • 资助金额:
    $ 92万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了