Towards a Compositional Generative Model of Human Vision

迈向人类视觉的组合生成模型

基本信息

  • 批准号:
    10228003
  • 负责人:
  • 金额:
    $ 32.45万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
  • 财政年份:
    2019
  • 资助国家:
    美国
  • 起止时间:
    2019-09-30 至 2023-07-31
  • 项目状态:
    已结题

项目摘要

Understanding object recognition has long been a central problem in vision science, because of its applied utility and computational difficulty. Progress has been slow, because of an inability to process complex natural images, where the largest challenges arise. Recently, advances in Deep Convolutional Neural Networks (DCNNs) spurred unprecedented success in natural image recognition. The general goal of this proposal is to leverage this success to test computational theories of human object recognition in natural images. However, DCNNs still markedly underperform humans when challenged with high levels of ambiguity, occlusion, and articulation. We hypothesize that humans' superior performance arises from the use of knowledge about how images and objects are structured. Preliminary evidence for this claim comes from the success of hybrid models, that combine DCNNS for identifying features and parts in images, with explicit knowledge of object and image structure. These computations occur within a hierarchy, which includes both top-down and bottom- up processing. The specific goal of the work proposed here is to strongly test whether these computational strategies, structured, hierarchical representations and bidirectional processing, are used to recognize objects in natural images. Human bodies are composed of hierarchically organized configurable parts, making them an ideal test domain. We examine the complete recognition process, from parts, to pairs of parts, to whole bodies, each in its own aim. Each aim also tests important sub-hypotheses about when and how the computational strategies are used. Aim 1 examines recognition of individual body parts, testing whether it is dependent on parsing images into more basic features and relationships, for example edges and materials. Aim 2 examines pairs of parts, testing the importance of knowledge of body connectedness relationships. Aim 3 examines perception of entire bodies, testing whether knowledge of global body structure guides bidirectional processing. In each aim, we first develop nested computer vision models that either do or do not make use of structural knowledge, to test whether it aids recognition. We then test whether human performance can be accounted for by the availability of that structural knowledge. We next measure neural activity with functional MRI to identify where and how it is used in cortex. Finally, we integrate these results to produce even stronger tests, using the nested models to predict human performance and confusion matrices as well as fMRI activity levels and confusion matrices. Altogether, this work will strongly test key theoretical accounts of object recognition in the most important domain, perception of natural images. The work, based on extensive preliminary data, measures and models the entire body recognition system. The models developed and tested here should surpass the state-of-the-art, and be useful for many real-world recognition tasks. The proposal will also lay the groundwork for future studies of recognition impaired by disease.
由于其应用广泛,理解物体识别长期以来一直是视觉科学的中心问题, 实用性和计算难度。由于无法处理复杂的自然资源, 图像,其中最大的挑战出现。最近,深度卷积神经网络的进展 (DCNN)在自然图像识别方面取得了前所未有的成功。本提案的总体目标是 利用这一成功来测试自然图像中人类物体识别的计算理论。然而,在这方面, 当受到高水平的模糊性、闭塞性和不确定性的挑战时, 清晰度我们假设,人类的上级表现来自于对知识的使用, 图像和对象是结构化的。这种说法的初步证据来自于混合动力汽车的成功, 模型,将用于识别图像中的特征和部分的联合收割机DCNNS与对象的显式知识相结合 图像结构。这些计算发生在一个层次结构中,其中包括自上而下和自下而上。 向上加工。这里提出的工作的具体目标是强烈测试这些计算是否 采用结构化、层次化表示和双向处理等策略进行目标识别 在自然图像中。人体是由分层组织的可配置部分组成的,使它们成为一个 理想的测试域。我们研究了完整的识别过程,从部分,到成对的部分,再到整个身体, 各有各的目的。每个目标还测试了关于何时以及如何计算 使用策略。Aim 1检查个体身体部位的识别,测试它是否依赖于 将图像解析为更基本的特征和关系,例如边缘和材料。目标2检查 对部分,测试身体连接关系的知识的重要性。目标3检查 整个身体的感知,测试全球身体结构的知识是否指导双向处理。 在每一个目标中,我们首先开发嵌套的计算机视觉模型,这些模型要么使用结构化的,要么不使用结构化的。 知识,以测试它是否有助于识别。然后,我们测试人类的表现是否可以解释 结构知识的可用性。接下来我们用功能性磁共振成像来测量神经活动, 它在皮层中的位置和方式。最后,我们整合这些结果,使用 嵌套模型来预测人类的表现和混淆矩阵以及fMRI活动水平, 混淆矩阵总之,这项工作将有力地测试目标识别的关键理论账户, 最重要的领域,自然图像的感知。这项工作基于大量的初步数据, 测量和模拟整个身体识别系统。这里开发和测试的模型应该 超越了最先进的技术水平,并适用于许多现实世界的识别任务。该提案还将奠定 为将来研究疾病导致的认知障碍打下基础。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

DANIEL J KERSTEN其他文献

DANIEL J KERSTEN的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('DANIEL J KERSTEN', 18)}}的其他基金

Towards a Compositional Generative Model of Human Vision
迈向人类视觉的组合生成模型
  • 批准号:
    10458624
  • 财政年份:
    2019
  • 资助金额:
    $ 32.45万
  • 项目类别:
Towards a Compositional Generative Model of Human Vision
迈向人类视觉的组合生成模型
  • 批准号:
    10018020
  • 财政年份:
    2019
  • 资助金额:
    $ 32.45万
  • 项目类别:
Object Perception Mechanisms for Resolving Ambiguity
解决歧义的对象感知机制
  • 批准号:
    6828206
  • 财政年份:
    2003
  • 资助金额:
    $ 32.45万
  • 项目类别:
Object Perception Mechanisms for Resolving Ambiguity
解决歧义的对象感知机制
  • 批准号:
    6989711
  • 财政年份:
    2003
  • 资助金额:
    $ 32.45万
  • 项目类别:
Object Perception Mechanisms for Resolving Ambiguity
解决歧义的对象感知机制
  • 批准号:
    7171803
  • 财政年份:
    2003
  • 资助金额:
    $ 32.45万
  • 项目类别:
Object Perception Mechanisms for Resolving Ambiguity
解决歧义的对象感知机制
  • 批准号:
    6710204
  • 财政年份:
    2003
  • 资助金额:
    $ 32.45万
  • 项目类别:
VISUAL INFORMATION FOR REACH AND GRASP
便于获取和掌握的视觉信息
  • 批准号:
    2165818
  • 财政年份:
    1996
  • 资助金额:
    $ 32.45万
  • 项目类别:
VISUAL INFORMATION FOR REACH AND GRASP
便于获取和掌握的视觉信息
  • 批准号:
    2888522
  • 财政年份:
    1996
  • 资助金额:
    $ 32.45万
  • 项目类别:
VISUAL INFORMATION FOR REACH AND GRASP
便于获取和掌握的视觉信息
  • 批准号:
    2711184
  • 财政年份:
    1996
  • 资助金额:
    $ 32.45万
  • 项目类别:
VISUAL INFORMATION FOR REACH AND GRASP
便于获取和掌握的视觉信息
  • 批准号:
    2444386
  • 财政年份:
    1996
  • 资助金额:
    $ 32.45万
  • 项目类别:

相似国自然基金

层出镰刀菌氮代谢调控因子AreA 介导伏马菌素 FB1 生物合成的作用机理
  • 批准号:
    2021JJ40433
  • 批准年份:
    2021
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
寄主诱导梢腐病菌AreA和CYP51基因沉默增强甘蔗抗病性机制解析
  • 批准号:
    32001603
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
AREA国际经济模型的移植.改进和应用
  • 批准号:
    18870435
  • 批准年份:
    1988
  • 资助金额:
    2.0 万元
  • 项目类别:
    面上项目

相似海外基金

Onboarding Rural Area Mathematics and Physical Science Scholars
农村地区数学和物理科学学者的入职
  • 批准号:
    2322614
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
Point-scanning confocal with area detector
点扫描共焦与区域检测器
  • 批准号:
    534092360
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Major Research Instrumentation
TRACK-UK: Synthesized Census and Small Area Statistics for Transport and Energy
TRACK-UK:交通和能源综合人口普查和小区域统计
  • 批准号:
    ES/Z50290X/1
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Research Grant
Wide-area low-cost sustainable ocean temperature and velocity structure extraction using distributed fibre optic sensing within legacy seafloor cables
使用传统海底电缆中的分布式光纤传感进行广域低成本可持续海洋温度和速度结构提取
  • 批准号:
    NE/Y003365/1
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Research Grant
Collaborative Research: Scalable Manufacturing of Large-Area Thin Films of Metal-Organic Frameworks for Separations Applications
合作研究:用于分离应用的大面积金属有机框架薄膜的可扩展制造
  • 批准号:
    2326714
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
Collaborative Research: Scalable Manufacturing of Large-Area Thin Films of Metal-Organic Frameworks for Separations Applications
合作研究:用于分离应用的大面积金属有机框架薄膜的可扩展制造
  • 批准号:
    2326713
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
Unlicensed Low-Power Wide Area Networks for Location-based Services
用于基于位置的服务的免许可低功耗广域网
  • 批准号:
    24K20765
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
RAPID: Collaborative Research: Multifaceted Data Collection on the Aftermath of the March 26, 2024 Francis Scott Key Bridge Collapse in the DC-Maryland-Virginia Area
RAPID:协作研究:2024 年 3 月 26 日 DC-马里兰-弗吉尼亚地区 Francis Scott Key 大桥倒塌事故后果的多方面数据收集
  • 批准号:
    2427233
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
RAPID: Collaborative Research: Multifaceted Data Collection on the Aftermath of the March 26, 2024 Francis Scott Key Bridge Collapse in the DC-Maryland-Virginia Area
RAPID:协作研究:2024 年 3 月 26 日 DC-马里兰-弗吉尼亚地区 Francis Scott Key 大桥倒塌事故后果的多方面数据收集
  • 批准号:
    2427232
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
RAPID: Collaborative Research: Multifaceted Data Collection on the Aftermath of the March 26, 2024 Francis Scott Key Bridge Collapse in the DC-Maryland-Virginia Area
RAPID:协作研究:2024 年 3 月 26 日 DC-马里兰-弗吉尼亚地区 Francis Scott Key 大桥倒塌事故后果的多方面数据收集
  • 批准号:
    2427231
  • 财政年份:
    2024
  • 资助金额:
    $ 32.45万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了