权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Collaborative Research: CCSS: Learning to Optimize: From New Algorithms to New Theory

合作研究：CCSS：学习优化：从新算法到新理论

基本信息

批准号：
2113904
负责人：
Zhangyang Wang
金额：
$ 22万
依托单位：
University of Texas at Austin
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2021
资助国家：
美国
起止时间：
2021-08-15 至 2024-07-31
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=2113904&HistoricalAwards=false
关键词：
Collaborative Research CCSS Learning Optimize

项目摘要

Solving machine learning (ML) problems requires efficient and scalable optimization algorithms. State-of-the-art general purpose algorithms often need to compute a large number of iterations and hence have limited applicability to real-time applications. To circumvent this shortcoming, learning to optimize (L2O) methods aim to learn a shorter (i.e., faster) optimization path over a task distribution at meta-training, based on the tasks’ common structures and a more global view of their geometries, and then apply the learned optimizer to new similar tasks at meta-testing. Despite extensive empirical success, the existing L2O methods perform well mainly on optimization tasks with similar structures, but likely perform poorly on out-of-distribution tasks. Furthermore, there has been little theory understanding the convergence and generalization of L2O algorithms. Thus, the proposed program will design novel L2O approaches, so that the trained optimizer can generalize to a broad range of practical tasks, particularly out-of-distribution tasks, and will have guaranteed convergence and generalization performance in L2O training and testing.Specifically, the proposed program will design new L2O approaches with both generalizability to out-of-distribution tasks and safeguarded feature for guaranteed worst-case convergence, will develop a theoretical framework for analyzing the convergence rate for L2O meta-training, and will provide comprehensive characterization of the generalization performance for L2O meta-testing. The new algorithms and theory will be evaluated over applications of on-device model adaptation in internet-of-things (IoT) systems, sparse recovery for images and wireless signals, and algorithmic adaptation in reconfiguration of communication systems. The project is anticipated to significantly mature the field of L2O, and provide training opportunities for a diverse group of students at the new intersection of optimization, machine learning, signal processing, and data science.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

解决机器学习（ML）问题需要高效且可扩展的优化算法。最先进的通用算法通常需要计算大量的迭代，因此对实时应用的适用性有限。为了克服这个缺点，学习优化（L2O）方法旨在学习更短的（即，基于任务的公共结构和它们的几何结构的更全局视图，在元训练时在任务分布上优化路径，然后在元测试时将学习的优化器应用于新的类似任务。尽管取得了广泛的经验成功，现有的L2O方法主要在具有类似结构的优化任务上表现良好，但在分布外任务上可能表现不佳。此外，很少有理论理解的收敛性和推广的L2O算法。因此，所提出的程序将设计新颖的L2O方法，使得经训练的优化器可以推广到广泛的实际任务，特别是分布外任务，并且将在L2O训练和测试中具有保证的收敛和推广性能。拟议的计划将设计新的L2O方法，既具有对分布外任务的通用性，又具有对保证的最坏情况的保障功能，的情况下收敛，将开发一个理论框架，用于分析收敛速度的L2O元训练，并将提供全面的表征泛化性能的L2O元测试。新算法和理论将在物联网（IoT）系统中的设备模型自适应，图像和无线信号的稀疏恢复以及通信系统重新配置中的算法自适应应用中进行评估。该项目预计将显著成熟L2O领域，并为优化，机器学习，信号处理和数据科学的新交叉点的多样化学生群体提供培训机会。该奖项反映了NSF的法定使命，并通过使用基金会的智力价值和更广泛的影响审查标准进行评估，被认为值得支持。

项目成果

期刊论文数量（4）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Bayesian Modeling and Uncertainty Quantification for Learning to Optimize: What, Why, and How

DOI：
发表时间：
2022
期刊：
影响因子：
0
作者：
Yuning You;Yue Cao;Tianlong Chen;Zhangyang Wang;Yang Shen
通讯作者：
Yuning You;Yue Cao;Tianlong Chen;Zhangyang Wang;Yang Shen

Learning to Optimize Differentiable Games

学习优化可微分游戏

DOI：
发表时间：
2023
期刊：
International Conference on Machine Learning
影响因子：
0
作者：
Chen, Xuxi;Vadori, Nelson;Chen, Tianlong;Wang, Zhangyang
通讯作者：
Wang, Zhangyang

Learning to Optimize: A Primer and A Benchmark

DOI：
发表时间：
2021-03
期刊：
J. Mach. Learn. Res.
影响因子：
0
作者：
Tianlong Chen;Xiaohan Chen;Wuyang Chen;Howard Heaton;Jialin Liu;Zhangyang Wang;W. Yin
通讯作者：
Tianlong Chen;Xiaohan Chen;Wuyang Chen;Howard Heaton;Jialin Liu;Zhangyang Wang;W. Yin

Learning to generalize provably in learning to optimize

在学习优化中学习可证明泛化

DOI：
发表时间：
2023
期刊：
International Conference on Artificial Intelligence and Statistics (AISTATS
影响因子：
0
作者：
Yang, Junjie;Chen, Tianlong;Zhu, Mingkang;He, Fengxiang;Tao, Dacheng;Liang, Yingbin;Wang, Zhangyang.
通讯作者：
Wang, Zhangyang.

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Zhangyang Wang其他文献

Privacy-Preserving Deep Visual Recognition: An Adversarial Learning Framework and A New Dataset

保护隐私的深度视觉识别：对抗性学习框架和新数据集

DOI：
发表时间：
2019
期刊：
arXiv.org
影响因子：
0
作者：
Haotao Wang;Zhenyu Wu;Zhangyang Wang;Zhaowen Wang;Hailin Jin
通讯作者：
Hailin Jin

FEASIBILITY OF QUANTIFYING AMYLOID BURDEN USING VOLUMETRIC MRI DATA: PRELIMINARY FINDINGS BASED ON THE DEEP LEARNING 3D CONVOLUTIONAL NEURAL NETWORK APPROACH

使用体积 MRI 数据量化淀粉样蛋白负担的可行性：基于深度学习 3D 卷积神经网络方法的初步发现

DOI：
10.1016/j.jalz.2018.06.758
发表时间：
2018
期刊：
Alzheimer's & Dementia
影响因子：
0
作者：
Ye Yuan;Zhangyang Wang;Wendy Lee;P. Thiyyagura;E. Reiman;Kewei Chen
通讯作者：
Kewei Chen

Improving Contrastive Learning on Imbalanced Data via Open-World Sampling

通过开放世界采样改进不平衡数据的对比学习

DOI：
发表时间：
2021
期刊：
Neural Information Processing Systems
影响因子：
0
作者：
Ziyu Jiang;Tianlong Chen;Ting Chen;Zhangyang Wang
通讯作者：
Zhangyang Wang

AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training

AligNeRF：通过对齐感知训练实现高保真神经辐射场

DOI：
发表时间：
2022
期刊：
Computer Vision and Pattern Recognition
影响因子：
0
作者：
Yifan Jiang;Peter Hedman;B. Mildenhall;Dejia Xu;J. Barron;Zhangyang Wang;Tianfan Xue
通讯作者：
Tianfan Xue

CROSS-MODAL VALIDATION OF AN ARTIFICIAL INTELLIGENCE VIDEO-BASED APPROACH FOR THE AUTOMATED RISK STRATIFICATION OF AORTIC STENOSIS

DOI：
10.1016/s0735-1097(24)03408-9
发表时间：
2024-04-02
期刊：
Conference abstract
影响因子：
作者：
Evangelos K. Oikonomou;Gregory Holste;Girish Nadkarni;Zhangyang Wang;Rohan Khera
通讯作者：
Rohan Khera