CRII: CIF: Universal Analysis of Optimization Algorithms
CRII:CIF:优化算法的通用分析
基本信息
- 批准号:1656951
- 负责人:
- 金额:$ 17.5万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2017
- 资助国家:美国
- 起止时间:2017-02-15 至 2020-01-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Iterative optimization algorithms lie at the heart of modern data-intensive applications such as machine learning, computer vision, and data science. The choice of algorithm, or even the choice of tuning parameters for a particular algorithm, has a dramatic effect on performance and viability. Even simple variants of well-known algorithms can be troublesome to analyze and must be considered on a case-by-case basis with the help of either deep insights by experts or extensive numerical simulations. Then, theoretical analyses of algorithms may fail to provide accurate or faithful performance guarantees because they do not account for sensitivity to parameter choice, robustness to noise either inherent to the algorithm or built in to how the iterations are computed, or other sources of uncertainty.The starting point for this research is to view iterative algorithms as dynamical systems with feedback. In gradient-based descent methods, for example, gradients are evaluated at each step and used to compute subsequent iterates. This research leverages tools from robust control (specifically, integral quadratic constraints and semidefinite programming) to develop a versatile, scalable, and modular framework capable of analyzing a variety of algorithms under different assumptions in an efficient and systematic manner. Of particular interest will be large-scale algorithms such as stochastic gradient descent and its variants, as well as distributed or asynchronous implementations.
迭代优化算法是机器学习、计算机视觉和数据科学等现代数据密集型应用的核心。算法的选择,甚至是特定算法的调优参数的选择,对性能和可行性有着巨大的影响。即使是众所周知的算法的简单变体也很难分析,必须在专家的深刻见解或广泛的数值模拟的帮助下逐案考虑。然后,算法的理论分析可能无法提供准确或忠实的性能保证,因为它们不考虑参数选择的敏感性,对噪声的鲁棒性,无论是固有的算法或内置的迭代计算,或其他来源的不确定性。例如,在基于梯度的下降方法中,梯度在每一步都被评估,并用于计算后续的迭代。本研究利用鲁棒控制工具(特别是积分二次约束和半定规划)开发一个通用的,可扩展的,模块化的框架,能够分析各种算法在不同的假设下,在一个有效的和系统的方式。特别感兴趣的是大规模算法,如随机梯度下降及其变体,以及分布式或异步实现。
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Robust convergence analysis of distributed optimization algorithms
- DOI:10.1109/allerton.2017.8262874
- 发表时间:2017-10
- 期刊:
- 影响因子:0
- 作者:Akhil Sundararajan;B. Hu;Laurent Lessard
- 通讯作者:Akhil Sundararajan;B. Hu;Laurent Lessard
Dissipativity Theory for Nesterov's Accelerated Method
Nesterov 加速法的耗散理论
- DOI:
- 发表时间:2017
- 期刊:
- 影响因子:0
- 作者:Hu, Bin;Lessard, Laurent
- 通讯作者:Lessard, Laurent
Integral Quadratic Constraints: Exact Convergence Rates and Worst-Case Trajectories
积分二次约束:精确收敛率和最坏情况轨迹
- DOI:10.1109/cdc40024.2019.9029588
- 发表时间:2019
- 期刊:
- 影响因子:0
- 作者:Van Scoy, Bryan;Lessard, Laurent
- 通讯作者:Lessard, Laurent
A Distributed Optimization Algorithm over Time-Varying Graphs with Efficient Gradient Evaluations
一种具有高效梯度评估的时变图分布式优化算法
- DOI:10.1016/j.ifacol.2019.12.181
- 发表时间:2019
- 期刊:
- 影响因子:0
- 作者:Scoy, Bryan Van;Lessard, Laurent
- 通讯作者:Lessard, Laurent
A Canonical Form for First-Order Distributed Optimization Algorithms
- DOI:10.23919/acc.2019.8814838
- 发表时间:2018-09
- 期刊:
- 影响因子:0
- 作者:Akhil Sundararajan;Bryan Van Scoy;Laurent Lessard
- 通讯作者:Akhil Sundararajan;Bryan Van Scoy;Laurent Lessard
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Laurent Lessard其他文献
NUCLEAR FACTOR-κB CYTOPLASMATIC STAINING INTENSITY IS AN INDEPENDENT PREDICTOR OF BIOCHEMICAL RECURRENCE AFTER RADICAL PROSTATECTOMY FOR CLINICALLY LOCALIZED PROSTATE CANCER
- DOI:
10.1016/s0022-5347(09)62148-0 - 发表时间:
2009-04-01 - 期刊:
- 影响因子:
- 作者:
Hendrik Isbarn;Laurent Lessard;Pierre I Karakiewicz;Thorsten Schlomm;Hartwig Huland;Guido Sauter;Jens Köllermann;Hans Heinzer;Markus Graefen;Fred Saad - 通讯作者:
Fred Saad
1093: NFKB Expression Predicts Biochemical Recurrence in Patients with Positive Margin Prostate Cancer
- DOI:
10.1016/s0022-5347(18)38330-7 - 发表时间:
2004-04-01 - 期刊:
- 影响因子:
- 作者:
Vincent Fradet;Laurent Lessard;Anne-Marie Mes-Masson;Louis R. Begin;Paul Perrotte;Pierre I. Karakiewicz;Fred Saad - 通讯作者:
Fred Saad
LARGE-SCALE VALIDATION OF NF-kB p65 AS A PROSTATE CANCER PROGNOSTIC MARKER
- DOI:
10.1016/s0022-5347(08)62059-5 - 发表时间:
2008-04-01 - 期刊:
- 影响因子:
- 作者:
Laurent Lessard;Louis R Begin;Thorsten Schlomm;Jens Kollermenn;Markus Graefen;Pierre I Karakiewicz;Anne-Marie Mes-Masson;Fred Saad - 通讯作者:
Fred Saad
Optimal control of a fully decentralized quadratic regulator
- DOI:
10.1109/allerton.2012.6483198 - 发表时间:
2012-10 - 期刊:
- 影响因子:0
- 作者:
Laurent Lessard - 通讯作者:
Laurent Lessard
Performance certification of interconnected nonlinear systems using ADMM
使用 ADMM 互连非线性系统的性能认证
- DOI:
- 发表时间:
2014 - 期刊:
- 影响因子:0
- 作者:
Chris Meissen;Laurent Lessard;M. Arcak;A. Packard - 通讯作者:
A. Packard
Laurent Lessard的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Laurent Lessard', 18)}}的其他基金
CAREER: Automated Analysis and Design of Optimization Algorithms
职业:优化算法的自动分析和设计
- 批准号:
2136945 - 财政年份:2021
- 资助金额:
$ 17.5万 - 项目类别:
Continuing Grant
A control-theoretic approach to distributed optimization
分布式优化的控制理论方法
- 批准号:
2139482 - 财政年份:2021
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Analysis and design of decentralized control systems in the presence of uncertain latency or system parameters
存在不确定延迟或系统参数的分散控制系统的分析和设计
- 批准号:
2136317 - 财政年份:2020
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
A control-theoretic approach to distributed optimization
分布式优化的控制理论方法
- 批准号:
1936648 - 财政年份:2019
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
CAREER: Automated Analysis and Design of Optimization Algorithms
职业:优化算法的自动分析和设计
- 批准号:
1750162 - 财政年份:2018
- 资助金额:
$ 17.5万 - 项目类别:
Continuing Grant
Analysis and design of decentralized control systems in the presence of uncertain latency or system parameters
存在不确定延迟或系统参数的分散控制系统的分析和设计
- 批准号:
1710892 - 财政年份:2017
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
相似国自然基金
Wolbachia的cif因子与天麻蚜蝇dsx基因协同调控生殖不育的机制研究
- 批准号:JCZRQN202501187
- 批准年份:2025
- 资助金额:0.0 万元
- 项目类别:省市级项目
SHR和CIF协同调控植物根系凯氏带形成的机制
- 批准号:31900169
- 批准年份:2019
- 资助金额:23.0 万元
- 项目类别:青年科学基金项目
相似海外基金
Collaborative Research: CIF: Medium: Snapshot Computational Imaging with Metaoptics
合作研究:CIF:Medium:Metaoptics 快照计算成像
- 批准号:
2403122 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Collaborative Research: CIF-Medium: Privacy-preserving Machine Learning on Graphs
合作研究:CIF-Medium:图上的隐私保护机器学习
- 批准号:
2402815 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Mathematical and Algorithmic Foundations of Multi-Task Learning
协作研究:CIF:小型:多任务学习的数学和算法基础
- 批准号:
2343599 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Mathematical and Algorithmic Foundations of Multi-Task Learning
协作研究:CIF:小型:多任务学习的数学和算法基础
- 批准号:
2343600 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
CIF: Small: Learning Low-Dimensional Representations with Heteroscedastic Data Sources
CIF:小:使用异方差数据源学习低维表示
- 批准号:
2331590 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Collaborative Research: CIF-Medium: Privacy-preserving Machine Learning on Graphs
合作研究:CIF-Medium:图上的隐私保护机器学习
- 批准号:
2402817 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
CAREER: CCF: CIF: Randomized Experimentation for Systems with Time-varying Dynamics and Network Interference
职业:CCF:CIF:具有时变动态和网络干扰的系统的随机实验
- 批准号:
2337796 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Continuing Grant
CIF: Small: Graph Structure Discovery of Networked Dynamical Systems
CIF:小:网络动力系统的图结构发现
- 批准号:
2327905 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
Collaborative Research: NSF-AoF: CIF: Small: AI-assisted Waveform and Beamforming Design for Integrated Sensing and Communication
合作研究:NSF-AoF:CIF:小型:用于集成传感和通信的人工智能辅助波形和波束成形设计
- 批准号:
2326622 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant
CIF: Small: Signal Processing and Learning for NOMA Millimeter-Wave Massive MIMO Systems
CIF:小型:NOMA 毫米波大规模 MIMO 系统的信号处理和学习
- 批准号:
2413622 - 财政年份:2024
- 资助金额:
$ 17.5万 - 项目类别:
Standard Grant