CRII: RI: Learning with Low-Quality Visual Data: Handling Both Passive and Active Degradations
CRII:RI:使用低质量视觉数据学习:处理被动和主动退化
基本信息
- 批准号:2053269
- 负责人:
- 金额:$ 7.73万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2020
- 资助国家:美国
- 起止时间:2020-08-01 至 2021-07-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
This project is focused on effectively and robustly exploiting low-quality (LQ) visual data for computer vision tasks. While most current computer vision systems are designed for high-quality visual data, collected from "clear" environments where subjects are well observable without significant attenuation or alteration, a dependable vision system must reckon with the entire spectrum of degradations from unconstrained environments. With various degradations arising from the visual data acquisition and processing pipeline, the ubiquitous LQ visual data can dramatically deteriorate the model performance in practice. The project outcome can broadly benefit a variety of real-world applications, such as video surveillance, autonomous/assisted driving, robotics and medical image analysis, where LQ visual data has constituted major performance and reliability bottlenecks. This research categorizes common degradations into the two types: "passive degradations" that are caused by uncontrollable environment factors (such as bad weather and low light); and "active degradations" that are intentionally introduced in a controllable way to meet certain budget requirements (such as lossy compression). The project will mainly addresses two important technical questions: i) how to overcome passive degradations and achieve more robust high-level task performance on LQ video data, using end-to-end deep learning models; and ii) how to properly introduce and control active degradations to generate the desired form of LQ data, that both satisfies certain budget requirements and maintains the target task utility, using deep adversarial learning models. The resulting new techniques are to be verified on application examples such as video recognition, video annotation, video compression, and de-identified video data sharing for recognition purpose.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
该项目的重点是有效和稳健地利用低质量(LQ)视觉数据进行计算机视觉任务。虽然目前大多数计算机视觉系统都是为高质量的视觉数据而设计的,这些数据是从“清晰”的环境中收集的,在这种环境中,对象可以很好地观察到,而不会发生显著的衰减或改变,但可靠的视觉系统必须考虑到来自不受约束的环境的整个退化范围。由于视觉数据采集和处理流水线带来的各种退化,无处不在的LQ视觉数据在实际应用中会显著恶化模型性能。该项目的成果可以广泛地惠及各种现实应用,如视频监控、自动/辅助驾驶、机器人和医学图像分析,其中LQ视觉数据构成了主要的性能和可靠性瓶颈。本研究将常见的降级分为两种类型:由不可控的环境因素(如恶劣天气和低光照)引起的“被动降级”;以及以可控方式故意引入以满足某些预算要求(如有损压缩)的“主动降级”。该项目将主要解决两个重要的技术问题:i)如何克服被动降级,并使用端到端深度学习模型在LQ视频数据上实现更强大的高级任务性能;以及ii)如何正确引入和控制主动降级,以生成所需形式的LQ数据,既满足某些预算要求,又保持目标任务效用,使用深度对抗学习模型。该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(1)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Privacy-Preserving Deep Action Recognition: An Adversarial Learning Framework and A New Dataset
- DOI:10.1109/tpami.2020.3026709
- 发表时间:2020-09
- 期刊:
- 影响因子:23.6
- 作者:Zhenyu Wu;Haotao Wang;Zhaowen Wang;Hailin Jin;Zhangyang Wang
- 通讯作者:Zhenyu Wu;Haotao Wang;Zhaowen Wang;Hailin Jin;Zhangyang Wang
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Zhangyang Wang其他文献
Privacy-Preserving Deep Visual Recognition: An Adversarial Learning Framework and A New Dataset
保护隐私的深度视觉识别:对抗性学习框架和新数据集
- DOI:
- 发表时间:
2019 - 期刊:
- 影响因子:0
- 作者:
Haotao Wang;Zhenyu Wu;Zhangyang Wang;Zhaowen Wang;Hailin Jin - 通讯作者:
Hailin Jin
Improving Contrastive Learning on Imbalanced Data via Open-World Sampling
通过开放世界采样改进不平衡数据的对比学习
- DOI:
- 发表时间:
2021 - 期刊:
- 影响因子:0
- 作者:
Ziyu Jiang;Tianlong Chen;Ting Chen;Zhangyang Wang - 通讯作者:
Zhangyang Wang
FEASIBILITY OF QUANTIFYING AMYLOID BURDEN USING VOLUMETRIC MRI DATA: PRELIMINARY FINDINGS BASED ON THE DEEP LEARNING 3D CONVOLUTIONAL NEURAL NETWORK APPROACH
使用体积 MRI 数据量化淀粉样蛋白负担的可行性:基于深度学习 3D 卷积神经网络方法的初步发现
- DOI:
10.1016/j.jalz.2018.06.758 - 发表时间:
2018 - 期刊:
- 影响因子:0
- 作者:
Ye Yuan;Zhangyang Wang;Wendy Lee;P. Thiyyagura;E. Reiman;Kewei Chen - 通讯作者:
Kewei Chen
AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training
AligNeRF:通过对齐感知训练实现高保真神经辐射场
- DOI:
- 发表时间:
2022 - 期刊:
- 影响因子:0
- 作者:
Yifan Jiang;Peter Hedman;B. Mildenhall;Dejia Xu;J. Barron;Zhangyang Wang;Tianfan Xue - 通讯作者:
Tianfan Xue
CROSS-MODAL VALIDATION OF AN ARTIFICIAL INTELLIGENCE VIDEO-BASED APPROACH FOR THE AUTOMATED RISK STRATIFICATION OF AORTIC STENOSIS
- DOI:
10.1016/s0735-1097(24)03408-9 - 发表时间:
2024-04-02 - 期刊:
- 影响因子:
- 作者:
Evangelos K. Oikonomou;Gregory Holste;Girish Nadkarni;Zhangyang Wang;Rohan Khera - 通讯作者:
Rohan Khera
Zhangyang Wang的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Zhangyang Wang', 18)}}的其他基金
Collaborative Research: III: Medium: A consolidated framework of computational privacy and machine learning
合作研究:III:媒介:计算隐私和机器学习的综合框架
- 批准号:
2212176 - 财政年份:2022
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CAREER: Learning Optimization Algorithms from Data: Interpretability, Reliability, and Scalability
职业:从数据中学习优化算法:可解释性、可靠性和可扩展性
- 批准号:
2145346 - 财政年份:2022
- 资助金额:
$ 7.73万 - 项目类别:
Continuing Grant
Collaborative Research: Probabilistic, Geometric, and Topological Analysis of Neural Networks, From Theory to Applications
合作研究:神经网络的概率、几何和拓扑分析,从理论到应用
- 批准号:
2133861 - 财政年份:2022
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: Learning to Optimize: From New Algorithms to New Theory
合作研究:CCSS:学习优化:从新算法到新理论
- 批准号:
2113904 - 财政年份:2021
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
Collaborative Research: Enabling Intelligent Cameras in Internet-of-Things via a Holistic Platform, Algorithm, and Hardware Co-design
协作研究:通过整体平台、算法和硬件协同设计实现物联网中的智能相机
- 批准号:
2053272 - 财政年份:2020
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
RTML: Large: Collaborative: Harmonizing Predictive Algorithms and Mixed-Signal/Precision Circuits via Computation-Data Access Exchange and Adaptive Dataflows
RTML:大型:协作:通过计算数据访问交换和自适应数据流协调预测算法和混合信号/精密电路
- 批准号:
2053279 - 财政年份:2020
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
Collaborative Research: Enabling Intelligent Cameras in Internet-of-Things via a Holistic Platform, Algorithm, and Hardware Co-design
协作研究:通过整体平台、算法和硬件协同设计实现物联网中的智能相机
- 批准号:
1934755 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
RTML: Large: Collaborative: Harmonizing Predictive Algorithms and Mixed-Signal/Precision Circuits via Computation-Data Access Exchange and Adaptive Dataflows
RTML:大型:协作:通过计算数据访问交换和自适应数据流协调预测算法和混合信号/精密电路
- 批准号:
1937588 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Learning with Low-Quality Visual Data: Handling Both Passive and Active Degradations
CRII:RI:使用低质量视觉数据学习:处理被动和主动退化
- 批准号:
1755701 - 财政年份:2018
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
相似国自然基金
醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
- 批准号:2025JJ90117
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病
中的机制研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
基于双修饰ANG-RNH1系统阻抑RI复合物生成机制建立口腔黏膜等效物血管化稳态
- 批准号:82401112
- 批准年份:2024
- 资助金额:30 万元
- 项目类别:青年科学基金项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
- 批准号:82301120
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于“免疫-神经”网络探讨眼针活化CI/RI大鼠MC靶向H3R调节“免疫监视”的抗炎机制
- 批准号:82374375
- 批准年份:2023
- 资助金额:51 万元
- 项目类别:面上项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
- 批准号:82300022
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
- 批准号:2022J011347
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
- 批准号:2022JJ70115
- 批准年份:2022
- 资助金额:0.0 万元
- 项目类别:省市级项目
相似海外基金
CRII: RI: Building A Self-Learning Robot System with Neuromorphic Computing
CRII:RI:构建具有神经形态计算的自学习机器人系统
- 批准号:
2245712 - 财政年份:2023
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Immune-Inspired Learning Foundations of Neural Network General Robustness
CRII:RI:神经网络一般鲁棒性的免疫启发学习基础
- 批准号:
2246157 - 财政年份:2023
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Secure Multi-Agent Reinforcement Learning Algorithms
CRII:RI:安全多代理强化学习算法
- 批准号:
2105007 - 财政年份:2021
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Learning novel multi-resolution representations of graphs: Applications to Brain Connectivity analysis for Alzheimer's Disease
CRII:RI:学习图形的新颖多分辨率表示:在阿尔茨海默氏病大脑连接分析中的应用
- 批准号:
1948510 - 财政年份:2020
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Learning a Timely Semantic Resource from Social Media Data
CRII:RI:从社交媒体数据中学习及时的语义资源
- 批准号:
2038457 - 财政年份:2020
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Active Learning of Preferences for Human-Aware Autonomy
CRII:RI:主动学习人类意识自主偏好
- 批准号:
1849952 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Learning Predictive Representations from Unlabeled Video
CRII:RI:从未标记的视频中学习预测表示
- 批准号:
1850069 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Neuromodulated Deep Vision: Continual Learning and Goal-Oriented Adaptation
CRII:RI:神经调节深度视觉:持续学习和目标导向的适应
- 批准号:
1849946 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: RUI: Performance guarantees for online apprenticeship learning with unknown features
CRII:RI:RUI:具有未知特征的在线学徒学习的性能保证
- 批准号:
1850149 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant
CRII: RI: Principled Methods for Learning and Understanding of Neural Networks
CRII:RI:学习和理解神经网络的原则方法
- 批准号:
1850220 - 财政年份:2019
- 资助金额:
$ 7.73万 - 项目类别:
Standard Grant