RI: Small: Integrating physics, data, and art-based insights for controllable generative models

RI:小型:集成物理、数据和基于艺术的见解以实现可控生成模型

基本信息

  • 批准号:
    2323086
  • 负责人:
  • 金额:
    $ 59.55万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-09-01 至 2026-08-31
  • 项目状态:
    未结题

项目摘要

Generative models refer to a large class of machine learning techniques that can generate user-specified media – including images, video, 3D environments, and text – from inputs such as text prompts, sketches, or other user provide images. New generative models are rapidly being developed and are seen as increasingly important in many different applications such as in chatbots and automation. Current generative models are characterized by extremely large models trained on web-scale data, but on closer inspection are found to be unreliable in critically important contexts. This project focuses on generative models for visual media, where current generative models will be advanced by leveraging prior knowledge about how visual features can be described by physical and statistical laws. The sources of knowledge that will be leveraged include physics-based knowledge, insights from traditional content creation techniques, and advances in modeling latent-spaces using novel geometric methods. The anticipated benefits include more robust models, smaller scale models, and more interpretable and modular models. This research systematically investigating the basics of generative-adversarial networks. The first task considers the role of the input probability distribution from which samples are drawn, generalizing to non-parametric distributions tuned to reduce distribution mismatch under sample mixing. The second task involves architectural novelty in terms of detail layering, where synthesis is broken into a series of simpler architectures. The third task focuses on developing reduced parameter discriminator models, using orthogonality-type constraints as a proxy for physical variables like lighting, texture, and deformation. The fourth task focuses on developing shape-aware architectures, using learnable polynomial basis functions to represent shape more directly. Applications for these methods include augmenting training-sets to create trustworthy machine learning models in contexts such as manufacturing and health, where it is difficult to gather large training sets. Curricular innovations include creating access to these approaches for non-STEM students, in a class titled Machine Learning for Media Arts.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
生成模型是指一大类机器学习技术,可以从文本提示、草图或其他用户提供的图像等输入生成用户指定的媒体,包括图像、视频、3D环境和文本。新的生成模型正在迅速开发,并且在聊天机器人和自动化等许多不同的应用中越来越重要。 目前的生成模型的特点是在网络规模的数据上训练的非常大的模型,但仔细检查后发现,在非常重要的背景下是不可靠的。该项目的重点是视觉媒体的生成模型,其中当前的生成模型将通过利用有关如何通过物理和统计定律描述视觉特征的先验知识来改进。将被利用的知识来源包括基于物理的知识,传统内容创建技术的见解,以及使用新的几何方法建模潜在空间的进展。预期的好处包括更强大的模型,更小规模的模型,以及更可解释和模块化的模型。本研究系统地研究了生成对抗网络的基础知识。第一个任务考虑输入概率分布的作用,从该输入概率分布中提取样本,推广到非参数分布,以减少样本混合下的分布失配。第二个任务涉及到细节分层方面的建筑新奇,其中合成被分解为一系列更简单的架构。第三个任务的重点是开发减少参数的三维模型,使用正交型约束作为物理变量,如照明,纹理和变形的代理。第四个任务侧重于开发形状感知架构,使用可学习的多项式基函数更直接地表示形状。这些方法的应用包括增强训练集,以在制造和健康等难以收集大型训练集的环境中创建值得信赖的机器学习模型。课程创新包括为非STEM学生创建访问这些方法,在一个名为“媒体艺术机器学习”的课程中。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Pavan Turaga其他文献

A Hierarchical Bayesian Model for Cyber-Human Assessment of Rehabilitation Movement
康复运动网络人类评估的分层贝叶斯模型
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Tamim Ahmed;T. Rikakis;Setor Zilevu;Aisling Kelliher;Kowshik Thopalli;Pavan Turaga;Steven L. Wolf
  • 通讯作者:
    Steven L. Wolf
Modeling and Visualization of Human Activities for Multicamera Networks
  • DOI:
    10.1155/2009/259860
  • 发表时间:
    2009-10-22
  • 期刊:
  • 影响因子:
    1.800
  • 作者:
    Aswin C. Sankaranarayanan;Robert Patro;Pavan Turaga;Amitabh Varshney;Rama Chellappa
  • 通讯作者:
    Rama Chellappa
Intra-class patch swap for self-distillation
类内补丁交换用于自蒸馏
  • DOI:
    10.1016/j.neucom.2025.130408
  • 发表时间:
    2025-09-07
  • 期刊:
  • 影响因子:
    6.500
  • 作者:
    Hongjun Choi;Eun Som Jeon;Ankita Shukla;Pavan Turaga
  • 通讯作者:
    Pavan Turaga
On the design and evaluation of generative models in high energy density physics
高能密度物理中生成模型的设计与评估
  • DOI:
    10.1038/s42005-024-01912-2
  • 发表时间:
    2025-01-08
  • 期刊:
  • 影响因子:
    5.800
  • 作者:
    Ankita Shukla;Yamen Mubarka;Rushil Anirudh;Eugene Kur;Derek Mariscal;Blagoje Djordjevic;Bogdan Kustowski;Kelly Swanson;Brian Spears;Peer-Timo Bremer;Tammy Ma;Pavan Turaga;Jayaraman J. Thiagarajan
  • 通讯作者:
    Jayaraman J. Thiagarajan
Polynomial Implicit Neural Framework for Promoting Shape Awareness in Generative Models
  • DOI:
    10.1007/s11263-024-02270-w
  • 发表时间:
    2024-12-20
  • 期刊:
  • 影响因子:
    9.300
  • 作者:
    Utkarsh Nath;Rajhans Singh;Ankita Shukla;Kuldeep Kulkarni;Pavan Turaga
  • 通讯作者:
    Pavan Turaga

Pavan Turaga的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Pavan Turaga', 18)}}的其他基金

PIPP Phase I: Computational Foundations for Bio-social Modeling of Unseen Pandemics
PIPP 第一阶段:看不见的流行病生物社会建模的计算基础
  • 批准号:
    2200161
  • 财政年份:
    2022
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
FW-HTF-P: The Future of Workplace Wellness
FW-HTF-P:工作场所健康的未来
  • 批准号:
    2026512
  • 财政年份:
    2020
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
CIF: Small: Collaborative Research: Geometrical and Statistical Modeling of Space-Time symmetries for Human Action Analysis and Retraining
CIF:小型:协作研究:用于人类行为分析和再训练的时空对称性的几何和统计建模
  • 批准号:
    1617999
  • 财政年份:
    2016
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
CAREER: Role of geometry in dynamical modeling of human movement: Applications to activity quality assessment across Euclidean, non-Euclidean, and function spaces
职业:几何在人体运动动态建模中的作用:在欧几里德、非欧和功能空间的活动质量评估中的应用
  • 批准号:
    1452163
  • 财政年份:
    2015
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Continuing Grant
CIF: Small: Collaborative Research: Geometry-aware and data-adaptive signal processing for resource constrained activity analysis
CIF:小型:协作研究:用于资源受限活动分析的几何感知和数据自适应信号处理
  • 批准号:
    1320267
  • 财政年份:
    2013
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Collaborative Research: AF: Small: Graph Analysis: Integrating Metric and Topological Perspectives
合作研究:AF:小:图分析:整合度量和拓扑视角
  • 批准号:
    2310412
  • 财政年份:
    2023
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
CC* Integration-Small: Integrating Application Agnostic Learning with FABRIC for Enabling Realistic High-Fidelity Traffic Generation and Modeling
CC* Integration-Small:将应用程序无关学习与 FABRIC 集成,以实现现实的高保真流量生成和建模
  • 批准号:
    2419070
  • 财政年份:
    2023
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Efficient Ways to Enlarge Practical DNA Storage Capacity by Integrating Bio-Computer Technologies
合作研究:中枢神经系统核心:小型:通过集成生物计算机技术扩大实用 DNA 存储容量的有效方法
  • 批准号:
    2343863
  • 财政年份:
    2023
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Collaborative Research: AF: Small: Graph Analysis: Integrating Metric and Topological Perspectives
合作研究:AF:小:图分析:整合度量和拓扑视角
  • 批准号:
    2310411
  • 财政年份:
    2023
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
III : Small : Integrating and Learning on Spatial Data via Multi-Agent Simulation
III:小:通过多智能体模拟集成和学习空间数据
  • 批准号:
    2311954
  • 财政年份:
    2023
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Efficient Ways to Enlarge Practical DNA Storage Capacity by Integrating Bio-Computer Technologies
合作研究:中枢神经系统核心:小型:通过集成生物计算机技术扩大实用 DNA 存储容量的有效方法
  • 批准号:
    2204656
  • 财政年份:
    2022
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Efficient Ways to Enlarge Practical DNA Storage Capacity by Integrating Bio-Computer Technologies
合作研究:中枢神经系统核心:小型:通过集成生物计算机技术扩大实用 DNA 存储容量的有效方法
  • 批准号:
    2204657
  • 财政年份:
    2022
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Integrating HDX-MS and Molecular Dynamics to investigate the mechanism of activation of the RORy by multiple small molecule modulators
整合 HDX-MS 和分子动力学研究多种小分子调节剂激活 RORy 的机制
  • 批准号:
    2736597
  • 财政年份:
    2022
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Studentship
CNS Core: Small: Integrating Real-Time Learning and Control for Large and Dynamic Networked Computer Systems
CNS 核心:小型:集成大型动态网络计算机系统的实时学习和控制
  • 批准号:
    2113893
  • 财政年份:
    2021
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Integrating Synthesis and Optimization in Satisfiability Modulo Theories
合作研究:SHF:小型:在可满足性模理论中集成综合和优化
  • 批准号:
    2006407
  • 财政年份:
    2020
  • 资助金额:
    $ 59.55万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了