Collaborative Research: RI: Small: Motion Fields Understanding for Enhanced Long-Range Imaging
合作研究:RI:小型:增强远程成像的运动场理解
基本信息
- 批准号:2232298
- 负责人:
- 金额:$ 30万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2023
- 资助国家:美国
- 起止时间:2023-04-01 至 2026-03-31
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
Data-driven computer vision approaches suffer from deteriorated performance when the input images are captured from long distance. For example, images from unmanned aerial vehicles (UAVs), satellites, and reconnaissance cameras lack stereo information causing 3D reconstruction and depth estimation to fail. Turbulence caused by air and water also causes light rays to deflect from their original path and introduces noticeable motion artifacts like blurriness and distortion. This project develops a generalizable motion field estimator using neural networks coupled with specific hardware settings to enhance computer vision tasks in long-range imaging. Successful development of such a motion field estimator can enable applications of computer vision systems at long distances and/or under turbulent environments including UAV navigation, object tracking and detection, and long-range monitoring. The project has broader impact in industrial applications which leverage such technologies. In addition, research results will be integrated into new course materials for physics-informed computer vision and computational photography classes. The project will provide training to underrepresented students and outreach to K-12 students throughout its duration. This project will develop computational solutions to decouple the entangled motion fields and use turbulence motion to enhance visual computing applications in long-range imaging. This research is motivated by the observation that turbulence-induced motion fields can provide depth and sub-pixel color information, which is crucial in restoring scenes with high-frequency details. To achieve this goal, the project will pursue three research thrusts: 1) neural field decoupling of object and turbulence motion; 2) reconstructing turbulence strength and flows from passive visual imagery; and 3) motion field guided intelligent foveation for long-range imaging. The first thrust will develop algorithms for estimating and recovering motion fields with both object and turbulence motion by investigating physics-based velocity fields. The second thrust will develop tractable quantitative turbulence motion models that can be applied to both air and water environments using deep neural networks. The third thrust will integrate the turbulence motion field into different visual computing pipelines to benefit long-range computer vision tasks. This project will collect a large motion field dataset with true turbulent parameters of different media types and turbulence strengths, which can facilitate the development of data-driven machine learning algorithms for long-range computer vision.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
当输入图像是从远距离捕获时,数据驱动的计算机视觉方法的性能会恶化。例如,来自无人机(UAV)、卫星和侦察相机的图像缺乏立体信息,导致3D重建和深度估计失败。 由空气和水引起的湍流也会导致光线偏离其原始路径,并引入明显的运动伪影,如模糊和失真。 该项目开发了一个可推广的运动场估计器,使用神经网络结合特定的硬件设置,以增强远程成像中的计算机视觉任务。这种运动场估计器的成功开发可以使计算机视觉系统在长距离和/或湍流环境下的应用成为可能,包括UAV导航、目标跟踪和检测以及远程监控。该项目在利用这些技术的工业应用中具有更广泛的影响。此外,研究成果将被整合到物理信息计算机视觉和计算摄影课程的新课程材料中。该项目将为代表性不足的学生提供培训,并在整个项目期间向K-12学生进行宣传。本项目将开发计算解决方案,以解耦纠缠运动场,并使用湍流运动来增强远程成像中的视觉计算应用。该研究的动机是观察到,连续性引起的运动场可以提供深度和亚像素的颜色信息,这是至关重要的恢复场景的高频细节。为了实现这一目标,该项目将追求三个研究方向:1)对象和湍流运动的神经场解耦; 2)从被动视觉图像重建湍流强度和流动; 3)运动场引导的远程成像智能foveation。第一个推力将通过调查基于物理的速度场,开发用于估计和恢复物体和湍流运动的运动场的算法。第二个目标是开发易于处理的定量湍流运动模型,这些模型可以使用深度神经网络应用于空气和水环境。第三个目标是将湍流运动场集成到不同的视觉计算管道中,以利于远程计算机视觉任务。该项目将收集具有不同介质类型和湍流强度的真实湍流参数的大型运动场数据集,这可以促进远程计算机视觉的数据驱动机器学习算法的开发。该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Nianyi Li其他文献
ETNK1 mutation occurs in a wide spectrum of myeloid neoplasms and is not specific for atypical chronic myeloid leukemia
ETNK1 突变发生在多种髓系肿瘤中,对于非典型慢性髓系白血病并不具有特异性
- DOI:
- 发表时间:
2022 - 期刊:
- 影响因子:6.2
- 作者:
W. Shuai;Z. Zuo;Nianyi Li;S. Garcés;F. Jelloul;C. Ok;Shaoying Li;Jie Xu;M. J. You;Wei Wang;C. Rehder;E. Jabbour;K. Patel;L. Medeiros;C. Yin - 通讯作者:
C. Yin
The Efficacy and Safety of Vitamin C for Iron Supplementation in Adult Patients With Iron Deficiency Anemia
维生素 C 对成人缺铁性贫血患者补铁的疗效和安全性
- DOI:
- 发表时间:
2020 - 期刊:
- 影响因子:13.8
- 作者:
Nianyi Li;Guangjie Zhao;Wanling Wu;Mengxue Zhang;Weiyang Liu;Qinfen Chen;Xiaoqin Wang - 通讯作者:
Xiaoqin Wang
Detection of masses and architectural distortions in digital breast tomosynthesis: a publicly available dataset of 5, 060 patients and a deep learning model
数字乳腺断层合成中肿块和结构扭曲的检测:包含 5, 060 名患者的公开数据集和深度学习模型
- DOI:
- 发表时间:
2020 - 期刊:
- 影响因子:0
- 作者:
Mateusz Buda;Ashirbani Saha;R. Walsh;S. Ghate;Nianyi Li;Albert Swiecicki;J. Lo;M. Mazurowski - 通讯作者:
M. Mazurowski
Human attention simulation on nature scenes in computer vision
- DOI:
- 发表时间:
2017 - 期刊:
- 影响因子:0
- 作者:
Nianyi Li - 通讯作者:
Nianyi Li
NIMBLE: A Non-rigid Hand Model with Bones and Muscles
- DOI:
- 发表时间:
2022 - 期刊:
- 影响因子:
- 作者:
Yuwei Li;Longwen Zhang;Zesong Qiu;Yingwenqi Jiang;Nianyi Li;Yuexin Ma;Yuyao Zhang;Lan Xu;Jingyi Yu - 通讯作者:
Jingyi Yu
Nianyi Li的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
相似国自然基金
醒脑静多靶点调控PI3K/Akt通路抑制CI/RI氧化应激—基于网络药理学及体内、外实验研究
- 批准号:2025JJ90117
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
IgA-FcαRI介导的Syk/NLRP3/caspase-1通路在线状IgA大疱性皮病
中的机制研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
跨膜蛋白LRP5胞外域调控膜受体TβRI促钛表面BMSCs归巢、分化的研究
- 批准号:82301120
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
Dectin-2通过促进FcεRI聚集和肥大细胞活化加剧哮喘发作的机制研究
- 批准号:82300022
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
藏药甘肃蚤缀β-咔啉生物碱类TβRI抑制剂的发现及其抗肺纤维化作用机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
nCs通过TβRI结合并磷酸化Axin促进颌骨成骨反应的作用及机制研究
- 批准号:2022J011347
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
TβRI的UFM化修饰调控TGF-β信号通路和乳腺癌转移的作用及机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于 FcεRI 信号通路介导的肥大细胞脱颗粒过程研究支气管哮喘的机制及中药干预
- 批准号:2022JJ70115
- 批准年份:2022
- 资助金额:0.0 万元
- 项目类别:省市级项目
IL-1RI/PI3Kδ/FOXO1途径促进HBV感染早期HBsAb产生的分子机制研究
- 批准号:
- 批准年份:2021
- 资助金额:0.0 万元
- 项目类别:省市级项目
树突状细胞来源的外泌体携带槲皮素抑制 IgE/FcεRI信号通路治疗过敏性鼻炎的作用及机制研究
- 批准号:
- 批准年份:2021
- 资助金额:10.0 万元
- 项目类别:省市级项目
相似海外基金
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
- 批准号:
2312841 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
- 批准号:
2312842 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
- 批准号:
2313131 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
- 批准号:
2313151 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Continuing Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
- 批准号:
2312840 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
- 批准号:
2345528 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
- 批准号:
2232055 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
- 批准号:
2313149 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Continuing Grant
Collaborative Research: CompCog: RI: Medium: Understanding human planning through AI-assisted analysis of a massive chess dataset
合作研究:CompCog:RI:中:通过人工智能辅助分析海量国际象棋数据集了解人类规划
- 批准号:
2312374 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant
Collaborative Research: CompCog: RI: Medium: Understanding human planning through AI-assisted analysis of a massive chess dataset
合作研究:CompCog:RI:中:通过人工智能辅助分析海量国际象棋数据集了解人类规划
- 批准号:
2312373 - 财政年份:2023
- 资助金额:
$ 30万 - 项目类别:
Standard Grant