权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

CIF: Medium: Collaborative Research: Theory of Optimization Geometry and Algorithms for Neural Networks

CIF：媒介：协作研究：神经网络优化几何理论和算法

基本信息

批准号：
1901199
负责人：
Yuejie Chi
金额：
$ 40万
依托单位：
Carnegie-Mellon University
依托单位国家：
美国
项目类别：
Standard Grant
财政年份：
2019
资助国家：
美国
起止时间：
2019-10-01 至 2024-09-30
项目状态：
已结题

来源：
https://www.nsf.gov/awardsearch/showAward?AWD_ID=1901199&HistoricalAwards=false
关键词：
CIF Medium Collaborative Research Theory

项目摘要

Deep learning has attracted a significant amount of interest in recent years due to its widespread applicability in computer vision, artificial intelligence and natural language processing, alongside recent strides in autonomous driving. The theoretical underpinnings behind such success, however, remain elusive to a large extent, hindering its further adoption in other applications. This project aims to advance the theoretical foundations of training neural networks in terms of optimization landscape and algorithmic efficacy, which in turn should have a measurable impact on the practice of deep learning by providing guiding principles for network design, algorithm selection, hyperparameter tuning, and adversarial training. This project adopts an interdisciplinary approach fusing ideas from machine learning, optimization, statistical signal processing, high-dimensional statistics, nonparametric statistics, and information theory. This project will likewise develop courses and tutorials on theoretical foundations of large-scale machine learning and provide extensive training opportunities for students at all levels.This project aims to develop a comprehensive theory to characterize the optimization landscape and geometry of loss functions and algorithmic regularizations of major neural network training problems, and explore how the network architecture---including depth, width, and activation functions---affect these properties, thus providing guidelines for the design of algorithms to train these networks more efficiently with theoretical performance guarantees. The project will explore the geometric properties and their impact on the optimization performance in training multi-layer neural networks, auto-encoders, generative adversarial networks, and adversarial training involving non-convex and saddle-point problems.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.

近年来，由于深度学习在计算机视觉、人工智能和自然语言处理方面的广泛应用，以及最近在自动驾驶方面的进展，深度学习引起了人们的极大兴趣。然而，这种成功背后的理论基础在很大程度上仍然难以捉摸，阻碍了它在其他应用中的进一步采用。该项目旨在从优化景观和算法功效方面推进训练神经网络的理论基础，进而通过为网络设计、算法选择、超参数调优和对抗训练提供指导原则，对深度学习的实践产生可衡量的影响。该项目采用跨学科的方法，融合了机器学习，优化，统计信号处理，高维统计，非参数统计和信息论的思想。该项目还将开发有关大规模机器学习理论基础的课程和教程，并为各级学生提供广泛的培训机会。本项目旨在发展一个全面的理论，以表征主要神经网络训练问题的损失函数和算法正则化的优化景观和几何形状，并探索网络架构（包括深度、宽度和激活函数）如何影响这些属性，从而为设计算法提供指导，从而在理论性能保证的情况下更有效地训练这些网络。该项目将探索几何性质及其对训练多层神经网络、自编码器、生成对抗网络和涉及非凸和鞍点问题的对抗训练的优化性能的影响。该奖项反映了美国国家科学基金会的法定使命，并通过使用基金会的知识价值和更广泛的影响审查标准进行评估，被认为值得支持。

项目成果

期刊论文数量（23）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression

DOI：
10.48550/arxiv.2206.09888
发表时间：
2022-06
期刊：
ArXiv
影响因子：
0
作者：
Zhize Li;Haoyu Zhao;Boyue Li;Yuejie Chi
通讯作者：
Zhize Li;Haoyu Zhao;Boyue Li;Yuejie Chi

Asynchronous Gradient Play in Zero-Sum Multi-agent Games

DOI：
10.48550/arxiv.2211.08980
发表时间：
2022-11
期刊：
ArXiv
影响因子：
0
作者：
Ruicheng Ao;Shicong Cen;Yuejie Chi
通讯作者：
Ruicheng Ao;Shicong Cen;Yuejie Chi

Communication-Efficient Distributed Optimization in Networks with Gradient Tracking and Variance Reduction

DOI：
发表时间：
2019-09
期刊：
J. Mach. Learn. Res.
影响因子：
0
作者：
Boyue Li;Shicong Cen;Yuxin Chen;Yuejie Chi
通讯作者：
Boyue Li;Shicong Cen;Yuxin Chen;Yuejie Chi

Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview

DOI：
10.1109/tsp.2019.2937282
发表时间：
2019-10-15
期刊：
IEEE TRANSACTIONS ON SIGNAL PROCESSING
影响因子：
5.4
作者：
Chi, Yuejie;Lu, Yue M.;Chen, Yuxin
通讯作者：
Chen, Yuxin

Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently

流形梯度下降可证明且高效地解决多通道稀疏盲反卷积问题

DOI：
10.1109/tit.2021.3075148
发表时间：
2021
期刊：
IEEE Transactions on Information Theory
影响因子：
2.5
作者：
Shi, Laixi;Chi, Yuejie
通讯作者：
Chi, Yuejie

DOI：
{{ item.doi }}
发表时间：
{{ item.publish_year }}
期刊：
{{ item.journal_name }}
影响因子：
{{ item.factor }}
作者：
{{ item.authors }}
通讯作者：
{{ item.author }}

数据更新时间：{{ journalArticles.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ monograph.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ sciAawards.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ conferencePapers.updateTime }}

作者：
{{ item.author }}

数据更新时间：{{ patent.updateTime }}

Yuejie Chi其他文献

Settling the Sample Complexity of Model-Based Offline Reinforcement Learning

解决基于模型的离线强化学习的样本复杂度

DOI：
10.48550/arxiv.2204.05275
发表时间：
2022
期刊：
ArXiv
影响因子：
0
作者：
Gen Li;Laixi Shi;Yuxin Chen;Yuejie Chi;Yuting Wei
通讯作者：
Yuting Wei

Memory-Limited stochastic approximation for poisson subspace tracking

泊松子空间跟踪的内存有限随机近似

DOI：
发表时间：
2017
期刊：
IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing
影响因子：
0
作者：
Liming Wang;Yuejie Chi
通讯作者：
Yuejie Chi

Regularized blind detection for MIMO communications

MIMO 通信的正则盲检测

DOI：
10.1109/isit.2010.5513407
发表时间：
2010
期刊：
2010 IEEE International Symposium on Information Theory
影响因子：
0
作者：
Yuejie Chi;Yiyue Wu;A. Calderbank
通讯作者：
A. Calderbank

Principal subspace estimation for low-rank Toeplitz covariance matrices with binary sensing

具有二元感知的低秩 Toeplitz 协方差矩阵的主子空间估计

DOI：
10.1109/acssc.2016.7869594
发表时间：
2016
期刊：
2016 50th Asilomar Conference on Signals, Systems and Computers
影响因子：
0
作者：
H. Fu;Yuejie Chi
通讯作者：
Yuejie Chi

Golay complementary waveforms for sparse delay-Doppler radar imaging

用于稀疏延迟多普勒雷达成像的 Golay 互补波形

DOI：
发表时间：
2009
期刊：
IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing
影响因子：
0
作者：
Yuejie Chi;Robert Calderbank;A. Pezeshki
通讯作者：
A. Pezeshki