Collaborative Research: Consensus and Distributed Optimization in Non-Convex Environments with Applications to Networked Machine Learning

协作研究:非凸环境中的共识和分布式优化及其在网络机器学习中的应用

基本信息

  • 批准号:
    2240789
  • 负责人:
  • 金额:
    $ 25万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2023
  • 资助国家:
    美国
  • 起止时间:
    2023-08-01 至 2026-07-31
  • 项目状态:
    未结题

项目摘要

Distributed optimization is a vehicle for machine learning and data analysis over networks as it provides the means to train models in a scalable fashion. This project aims to advance the fundamental knowledge on distributed non-convex optimization by studying two important classes of non-convex problems. The intellectual merits of the project include investigating distributed retraction-free manifold optimization, and distributed non-smooth weakly-convex optimization. Scientific contributions of this project will bring transformative change to the understanding of consensus and coordination in non-convex environments. The broader impacts of the project include educational components to introduce distributed optimization as a practical tool for the next generation of engineers. These educational plans include seminar presentations for a broader audience as well as advanced course development to introduce state-of-the-art decentralized optimization techniques.The goal of this project is to address distributed approaches for non-convex optimization implemented in heterogeneous computing environments. Retraction-free methods for distributed implementation of Riemannian Stochastic Gradient Descent will be investigated, followed by illustration of the benefits of this technique in reduced rank and sparse regression as well as training of sparse deep neural networks. In both cases, sparsity will be ensured by constraining the search for the model parameters to a lower-dimensional Riemannian manifold. The study will further consider distributed non-smooth, non-convex (weakly-convex) optimization, and develop asynchronous sub-gradient descent methods for communication-efficient optimization. The goal will be to establish both global and local convergence results for the proposed methods.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
分布式优化是一种通过网络进行机器学习和数据分析的工具,因为它提供了以可扩展的方式训练模型的方法。本项目旨在通过研究两类重要的非凸优化问题来提高分布式非凸优化的基础知识。该项目的智力优势包括研究分布式无缩回流形优化和分布式非光滑弱凸优化。该项目的科学贡献将给人们对非凸性环境中的共识和协调的理解带来变革性的变化。该项目的更广泛影响包括将分布式优化作为下一代工程师的实用工具引入教育组件。这些教育计划包括面向更广泛受众的研讨会演示,以及介绍最先进的分散优化技术的高级课程开发。该项目的目标是解决在异类计算环境中实现的非凸优化的分布式方法。我们将研究分布式实现Riemannian随机梯度下降的无回撤方法,然后说明该技术在降阶和稀疏回归以及稀疏深度神经网络训练方面的好处。在这两种情况下,通过将模型参数的搜索限制在较低维黎曼流形上来确保稀疏性。该研究将进一步考虑分布式非光滑、非凸(弱凸)优化问题,并发展用于通信效率优化的异步次梯度下降方法。目标是为建议的方法建立全球和本地的融合结果。这一奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Alfredo Garcia其他文献

Real-time Identification of the Emotional State in The Classroom to Improve the Teaching-learning Process
实时识别课堂情绪状态,改善教学过程
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    E. Flores;J. Livia;Alfredo Garcia;M. Dávila
  • 通讯作者:
    M. Dávila
DECREASED PROTEIN LEVELS OF GALECTIN-8 ARE ASSOCIATED WITH TUMOR PROGRESSION IN TRANSITIONAL CELL CARCINOMA
  • DOI:
    10.1016/s0022-5347(08)60923-4
  • 发表时间:
    2008-04-01
  • 期刊:
  • 影响因子:
  • 作者:
    Mario W Kramer;Markus A Kuczyk;Jorg Hennenlotter;Stephan Kruck;Alfredo Garcia;Arnulf Stenzl;Axel S Merseburger
  • 通讯作者:
    Axel S Merseburger
Aminofilina y fenoterol en niños con crisis asmática
氨基菲林和非诺特罗与哮喘危机
  • DOI:
    10.20453/rmh.v5i3.439
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Alva Segura;Silvia Romero;Antero Razuri;Alfredo Garcia;Claudia Ugarte;Rafael Whu;Pascual Chiarella;O. Zegarra
  • 通讯作者:
    O. Zegarra
Rinitis alérgica: Una antigua enfermedad a reevaluar.
Rinitis alérgica:Una antigua enfermedad 重新评估。
  • DOI:
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    F. Ruiz;L. Vega;Ronald Vargas;Alfredo Garcia;Daniel Shion;Luis Caravedo;Pascual Chiarella
  • 通讯作者:
    Pascual Chiarella
Investment dynamics in electricity markets
  • DOI:
    10.1007/s00199-009-0508-3
  • 发表时间:
    2009-11-06
  • 期刊:
  • 影响因子:
    1.100
  • 作者:
    Alfredo Garcia;Ennio Stacchetti
  • 通讯作者:
    Ennio Stacchetti

Alfredo Garcia的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Alfredo Garcia', 18)}}的其他基金

Smart Markets for Black-box Capacity Allocation
黑匣子容量分配的智能市场
  • 批准号:
    1829552
  • 财政年份:
    2018
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Smart Markets for Black-box Capacity Allocation
黑匣子容量分配的智能市场
  • 批准号:
    1561381
  • 财政年份:
    2016
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
I/UCRC: Collaborative Research: Unlocking Spectrum Efficiency for Future Wireless Networks
I/UCRC:合作研究:释放未来无线网络的频谱效率
  • 批准号:
    1230918
  • 财政年份:
    2012
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Unlocking Capacity for Wireless Networks Using Cooperative and Cognitive Techniques
协作研究:使用协作和认知技术释放无线网络的容量
  • 批准号:
    1032060
  • 财政年份:
    2010
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
CIF: Small: Dynamic Pricing of Interference in Cognitive Radio Networks
CIF:小:认知无线电网络干扰的动态定价
  • 批准号:
    1017982
  • 财政年份:
    2010
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
CT-ISG: The Economics of Internet Security: Theoretical and Empirical Analysis
CT-ISG:互联网安全经济学:理论与实证分析
  • 批准号:
    0627399
  • 财政年份:
    2007
  • 资助金额:
    $ 25万
  • 项目类别:
    Continuing Grant
EPNES: Security of Supply & Strategic Learning in Restructured Power Markets
EPNES:供应安全
  • 批准号:
    0224747
  • 财政年份:
    2002
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Complex Networks Optimization
合作研究:复杂网络优化
  • 批准号:
    0217371
  • 财政年份:
    2002
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: Consensus and Distributed Optimization in Non-Convex Environments with Applications to Networked Machine Learning
协作研究:非凸环境中的共识和分布式优化及其在网络机器学习中的应用
  • 批准号:
    2240788
  • 财政年份:
    2023
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Building consensus around the quantification and interpretation of Symbiodiniaceae diversity
合作研究:围绕共生科多样性的量化和解释建立共识
  • 批准号:
    2127514
  • 财政年份:
    2021
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Building consensus around the quantification and interpretation of Symbiodiniaceae diversity
合作研究:围绕共生科多样性的量化和解释建立共识
  • 批准号:
    2127508
  • 财政年份:
    2021
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Building consensus around the quantification and interpretation of Symbiodiniaceae diversity
合作研究:围绕共生科多样性的量化和解释建立共识
  • 批准号:
    2127506
  • 财政年份:
    2021
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
RAPID: Collaborative Research: Covid-19 Hotspot Network Size and Node Counting using Consensus Estimation
RAPID:协作研究:使用共识估计的 Covid-19 热点网络规模和节点计数
  • 批准号:
    2032114
  • 财政年份:
    2020
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
RAPID: Collaborative Research: Covid-19 Hotspot Network Size and Node Counting using Consensus Estimation
RAPID:协作研究:使用共识估计的 Covid-19 热点网络规模和节点计数
  • 批准号:
    2032106
  • 财政年份:
    2020
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Consensus on Climate Predication by Adaptive Synchronization of Models
合作研究:通过模型自适应同步进行气候预测共识
  • 批准号:
    0838235
  • 财政年份:
    2009
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: Consensus on Climate Predication by Adaptive Synchronization of Models
合作研究:通过模型自适应同步进行气候预测共识
  • 批准号:
    0838251
  • 财政年份:
    2009
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: CSR-EHCS(EHS), TM: Distributed Sensing via Robust Consensus on Manifolds
合作研究:CSR-EHCS(EHS),TM:通过流形上的鲁棒共识进行分布式传感
  • 批准号:
    0834470
  • 财政年份:
    2008
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
Collaborative Research: CSR-EHCS(EHS), TM: Distributed Sensing via Robust Consensus on Manifolds
合作研究:CSR-EHCS(EHS),TM:通过流形上的鲁棒共识进行分布式传感
  • 批准号:
    0834446
  • 财政年份:
    2008
  • 资助金额:
    $ 25万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了