Collaborative Research: CCSS: Learning to Optimize: From New Algorithms to New Theory
合作研究:CCSS:学习优化:从新算法到新理论
基本信息
- 批准号:2113860
- 负责人:
- 金额:$ 22万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2021
- 资助国家:美国
- 起止时间:2021-08-15 至 2024-07-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Solving machine learning (ML) problems requires efficient and scalable optimization algorithms. State-of-the-art general purpose algorithms often need to compute a large number of iterations and hence have limited applicability to real-time applications. To circumvent this shortcoming, learning to optimize (L2O) methods aim to learn a shorter (i.e., faster) optimization path over a task distribution at meta-training, based on the tasks’ common structures and a more global view of their geometries, and then apply the learned optimizer to new similar tasks at meta-testing. Despite extensive empirical success, the existing L2O methods perform well mainly on optimization tasks with similar structures, but likely perform poorly on out-of-distribution tasks. Furthermore, there has been little theory understanding the convergence and generalization of L2O algorithms. Thus, the proposed program will design novel L2O approaches, so that the trained optimizer can generalize to a broad range of practical tasks, particularly out-of-distribution tasks, and will have guaranteed convergence and generalization performance in L2O training and testing.Specifically, the proposed program will design new L2O approaches with both generalizability to out-of-distribution tasks and safeguarded feature for guaranteed worst-case convergence, will develop a theoretical framework for analyzing the convergence rate for L2O meta-training, and will provide comprehensive characterization of the generalization performance for L2O meta-testing. The new algorithms and theory will be evaluated over applications of on-device model adaptation in internet-of-things (IoT) systems, sparse recovery for images and wireless signals, and algorithmic adaptation in reconfiguration of communication systems. The project is anticipated to significantly mature the field of L2O, and provide training opportunities for a diverse group of students at the new intersection of optimization, machine learning, signal processing, and data science.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
解决机器学习(ML)问题需要高效且可扩展的优化算法。最先进的通用算法通常需要计算大量的迭代,因此对实时应用的适用性有限。为了克服这个缺点,学习优化(L2O)方法旨在学习更短的(即,基于任务的公共结构和它们的几何结构的更全局视图,在元训练时在任务分布上优化路径,然后在元测试时将学习的优化器应用于新的类似任务。尽管取得了广泛的经验成功,现有的L2O方法主要在具有类似结构的优化任务上表现良好,但在分布外任务上可能表现不佳。此外,很少有理论理解的收敛性和推广的L2O算法。因此,所提出的程序将设计新颖的L2O方法,使得经训练的优化器可以推广到广泛的实际任务,特别是分布外任务,并且将在L2O训练和测试中具有保证的收敛和推广性能。拟议的计划将设计新的L2O方法,既具有对分布外任务的通用性,又具有对保证的最坏情况的保障功能,的情况下收敛,将开发一个理论框架,用于分析收敛速度的L2O元训练,并将提供全面的表征泛化性能的L2O元测试。新算法和理论将在物联网(IoT)系统中的设备模型自适应,图像和无线信号的稀疏恢复以及通信系统重新配置中的算法自适应应用中进行评估。该项目预计将显著成熟L2O领域,并为优化,机器学习,信号处理和数据科学的新交叉点的多样化学生群体提供培训机会。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(6)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation
- DOI:10.48550/arxiv.2303.00039
- 发表时间:2023-02
- 期刊:
- 影响因子:0
- 作者:Junjie Yang;Xuxi Chen;Tianlong Chen;Zhangyang Wang;Yitao Liang
- 通讯作者:Junjie Yang;Xuxi Chen;Tianlong Chen;Zhangyang Wang;Yitao Liang
Provably Faster Algorithms for Bilevel Optimization
- DOI:
- 发表时间:2021-06
- 期刊:
- 影响因子:0
- 作者:Junjie Yang;Kaiyi Ji;Yingbin Liang
- 通讯作者:Junjie Yang;Kaiyi Ji;Yingbin Liang
Provably Efficient Algorithm for Nonstationary Low-Rank MDPs
- DOI:10.48550/arxiv.2308.05471
- 发表时间:2023-08
- 期刊:
- 影响因子:0
- 作者:Yuan Cheng;J. Yang;Yitao Liang
- 通讯作者:Yuan Cheng;J. Yang;Yitao Liang
Theory on Forgetting and Generalization of Continual Learning
- DOI:10.48550/arxiv.2302.05836
- 发表时间:2023-02
- 期刊:
- 影响因子:0
- 作者:Sen Lin;Peizhong Ju;Yitao Liang;N. Shroff
- 通讯作者:Sen Lin;Peizhong Ju;Yitao Liang;N. Shroff
Data sampling affects the complexity of online SGD over dependent data
数据采样会影响在线 SGD 相对于相关数据的复杂性
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Ma, Shaocong;Chen, Ziyi;Zhou, Yi;Ji, Kaiyi;Liang, Yingbin.
- 通讯作者:Liang, Yingbin.
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Yingbin Liang其他文献
On the Equivalence of Two Achievable Regions for the Broadcast Channel
广播频道两个可达到区域的等效性
- DOI:
10.1109/tit.2010.2090236 - 发表时间:
2011 - 期刊:
- 影响因子:2.5
- 作者:
Yingbin Liang;G. Kramer;H. Poor - 通讯作者:
H. Poor
Capacity bounds for a class of cognitive interference channels with state
一类具有状态的认知干扰信道的容量界限
- DOI:
10.1109/allerton.2011.6120223 - 发表时间:
2011 - 期刊:
- 影响因子:0
- 作者:
Ruchen Duan;Yingbin Liang - 通讯作者:
Yingbin Liang
A New Perspective of Proximal Gradient Algorithms
近端梯度算法的新视角
- DOI:
- 发表时间:
2015 - 期刊:
- 影响因子:0
- 作者:
Yi Zhou;Yingbin Liang;Lixin Shen - 通讯作者:
Lixin Shen
Layered secure broadcasting over MIMO channels and application in secret sharing
MIMO信道分层安全广播及其在秘密共享中的应用
- DOI:
- 发表时间:
2014 - 期刊:
- 影响因子:0
- 作者:
Shaofeng Zou;Yingbin Liang;L. Lai;S. Shamai - 通讯作者:
S. Shamai
Gaussian fading channel with secrecy outside a bounded range
在有界范围外具有保密性的高斯衰落信道
- DOI:
- 发表时间:
2017 - 期刊:
- 影响因子:0
- 作者:
Shaofeng Zou;Yingbin Liang;S. Shamai - 通讯作者:
S. Shamai
Yingbin Liang的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Yingbin Liang', 18)}}的其他基金
RINGS: A Deep Reinforcement Learning Enabled Large-scale UAV Network with Distributed Navigation, Mobility Control, and Resilience
RINGS:深度强化学习支持的大规模无人机网络,具有分布式导航、移动控制和弹性
- 批准号:
2148253 - 财政年份:2022
- 资助金额:
$ 22万 - 项目类别:
Continuing Grant
Collaborative Research: SCALE MoDL: Adaptivity of Deep Neural Networks
合作研究:SCALE MoDL:深度神经网络的适应性
- 批准号:
2134145 - 财政年份:2021
- 资助金额:
$ 22万 - 项目类别:
Continuing Grant
CIF: Small: Collaborative Research: Acceleration Algorithms for Large-scale Nonconvex Optimization
CIF:小型:协作研究:大规模非凸优化的加速算法
- 批准号:
1909291 - 财政年份:2019
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
CIF: Medium: Collaborative Research: Theory of Optimization Geometry and Algorithms for Neural Networks
CIF:媒介:协作研究:神经网络优化几何理论和算法
- 批准号:
1900145 - 财政年份:2019
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
CIF: Medium: Collaborative Research: Nonconvex Optimization for High-Dimensional Signal Estimation: Theory and Fast Algorithms
CIF:中:协作研究:高维信号估计的非凸优化:理论和快速算法
- 批准号:
1761506 - 财政年份:2017
- 资助金额:
$ 22万 - 项目类别:
Continuing Grant
CIF: Small: Collaborative Research: Network Event Detection with Multistream Observations
CIF:小型:协作研究:通过多流观察进行网络事件检测
- 批准号:
1801855 - 财政年份:2017
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
CIF: Medium: Collaborative Research: Nonconvex Optimization for High-Dimensional Signal Estimation: Theory and Fast Algorithms
CIF:中:协作研究:高维信号估计的非凸优化:理论和快速算法
- 批准号:
1704169 - 财政年份:2017
- 资助金额:
$ 22万 - 项目类别:
Continuing Grant
Management of Mobile Phone Sensing via Sparse Learning
通过稀疏学习管理手机传感
- 批准号:
1818904 - 财政年份:2017
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
CIF: Small: Collaborative Research: Secret Key Generation Under Resource Constraints
CIF:小型:协作研究:资源限制下的密钥生成
- 批准号:
1801846 - 财政年份:2017
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
CIF: Small: Collaborative Research: Secret Key Generation Under Resource Constraints
CIF:小型:协作研究:资源限制下的密钥生成
- 批准号:
1618127 - 财政年份:2016
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
相似国自然基金
NAT398-miR398-CSD1/CCS途径调控月季高温响应的分子机制研究
- 批准号:32372754
- 批准年份:2023
- 资助金额:50 万元
- 项目类别:面上项目
铜伴侣蛋白CCS调控卵巢癌铁死亡的作用机制及干预研究
- 批准号:
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:面上项目
基于CRISPR/cas9文库筛选技术研究EGLN1/CCS增敏CDK4/6抑制剂在食道鳞癌中的作用机制
- 批准号:
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:面上项目
莱茵衣藻二硫键还原酶CCS5调控缺氮胁迫黄化响应的分子机制研究
- 批准号:
- 批准年份:2021
- 资助金额:58 万元
- 项目类别:
功能化ECM肽/miR-140复合水凝胶诱导软骨CPCs/CCs重编程增强OA早期软骨损伤修复的研究
- 批准号:81802210
- 批准年份:2018
- 资助金额:21.0 万元
- 项目类别:青年科学基金项目
基于CCS策略的中成药龙胆泻肝丸基原物种鉴定研究
- 批准号:81874339
- 批准年份:2018
- 资助金额:57.0 万元
- 项目类别:面上项目
铜伴侣蛋白CCS基因多态性对剥脱综合征形成影响及其作用机制研究
- 批准号:81770908
- 批准年份:2017
- 资助金额:51.0 万元
- 项目类别:面上项目
针对铜伴侣蛋白Atox1和CCS的新型抗肿瘤作用机制和化学干预功能调控研究
- 批准号:21672014
- 批准年份:2016
- 资助金额:68.0 万元
- 项目类别:面上项目
无限状态CCS进程的等价验证问题研究
- 批准号:61502296
- 批准年份:2015
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
CCS中不凝性气体杂质对CO2热力学性质的影响研究
- 批准号:51306127
- 批准年份:2013
- 资助金额:25.0 万元
- 项目类别:青年科学基金项目
相似海外基金
Collaborative Research: REU Site: MICRO-CCS: Microbial Interactions Create Research Opportunities for Community College Students
合作研究:REU 网站:MICRO-CCS:微生物相互作用为社区学院学生创造研究机会
- 批准号:
2349221 - 财政年份:2024
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: ECCS-CCSS Core: Resonant-Beam based Optical-Wireless Communication
合作研究:ECCS-CCSS核心:基于谐振光束的光无线通信
- 批准号:
2332172 - 财政年份:2024
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: ECCS-CCSS Core: Resonant-Beam based Optical-Wireless Communication
合作研究:ECCS-CCSS核心:基于谐振光束的光无线通信
- 批准号:
2332173 - 财政年份:2024
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: REU Site: MICRO-CCS: Microbial Interactions Create Research Opportunities for Community College Students
合作研究:REU 网站:MICRO-CCS:微生物相互作用为社区学院学生创造研究机会
- 批准号:
2349220 - 财政年份:2024
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: Continuous Facial Sensing and 3D Reconstruction via Single-ear Wearable Biosensors
合作研究:CCSS:通过单耳可穿戴生物传感器进行连续面部传感和 3D 重建
- 批准号:
2401415 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: When RFID Meets AI for Occluded Body Skeletal Posture Capture in Smart Healthcare
合作研究:CCSS:当 RFID 与人工智能相遇,用于智能医疗保健中闭塞的身体骨骼姿势捕获
- 批准号:
2245607 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: Hierarchical Federated Learning over Highly-Dense and Overlapping NextG Wireless Deployments: Orchestrating Resources for Performance
协作研究:CCSS:高密度和重叠的 NextG 无线部署的分层联合学习:编排资源以提高性能
- 批准号:
2319780 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: Hierarchical Federated Learning over Highly-Dense and Overlapping NextG Wireless Deployments: Orchestrating Resources for Performance
协作研究:CCSS:高密度和重叠的 NextG 无线部署的分层联合学习:编排资源以提高性能
- 批准号:
2319781 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: Towards Energy-Efficient Millimeter Wave Wireless Networks: A Unified Systems and Circuits Framework
合作研究:CCSS:迈向节能毫米波无线网络:统一系统和电路框架
- 批准号:
2242700 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant
Collaborative Research: CCSS: When RFID Meets AI for Occluded Body Skeletal Posture Capture in Smart Healthcare
合作研究:CCSS:当 RFID 与人工智能相遇,用于智能医疗保健中闭塞的身体骨骼姿势捕获
- 批准号:
2245608 - 财政年份:2023
- 资助金额:
$ 22万 - 项目类别:
Standard Grant