CIF: Small: Self-Adaptive Optimization Algorithms with Fast Convergence via Geometry-Adapted Hyper-Parameter Scheduling

CIF:小型:通过几何自适应超参数调度实现快速收敛的自适应优化算法

基本信息

  • 批准号:
    2106216
  • 负责人:
  • 金额:
    $ 41.12万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2021
  • 资助国家:
    美国
  • 起止时间:
    2021-07-01 至 2024-06-30
  • 项目状态:
    已结题

项目摘要

Machine-learning and artificial-intelligence techniques have been widely applied in modern society to enhance quality of lifr. In these applications, machine-learning models such as neural networks are trained on a large dataset using various optimization algorithms, which iteratively adjust the model parameters and converge to a good model. In particular, the convergence of these optimization algorithms often relies on choosing a good set of hyper-parameters. For example, one important algorithm hyper-parameter is the step size, which controls the scale of the update applied to the model parameters in every iteration, and it must be carefully chosen to avoid slow convergence and possible divergence. In practice, these algorithm hyper-parameters either are guided by optimization theory or are set through manual fine-tuning. While theory-guided algorithm hyper-parameters often rely on certain unknown geometrical information of the model and are often too conservative, resulting in result in slow convergence, manually fine-tuned algorithm hyper-parameters critically depend on the specific application and algorithm, and often introduce much computation overhead. This project aims to address these issues by developing a principled, computation-light and effective hyper-parameter scheduling scheme for different types of optimization algorithms to achieve fast and stable convergence. The developed adapted hyper-parameter scheduling scheme is intended to facilitate machine-learning practitioners tuning the algorithm hyper-parameters and dynamically adapt them to the ongoing optimization process. This has further positive impact on implementation of large-scale machine learning applications such as autonomous driving, training adversary-robust models, robust decision making in finance and control, etc. In this project, the researchers are developing a principled and efficient algorithm hyper-parameter scheduling framework that jointly adapts different algorithm hyper-parameters to the local geometry of the nonconvex objective function for a variety of popular optimization algorithms, and corroborate them with strong theoretical convergence guarantees in nonconvex machine learning. Specifically, the researchers are developing such geometry-adapted hyper-parameter scheduling scheme for deterministic optimization algorithms, including first-order gradient-based algorithms, accelerated gradient algorithms and second-order Newton-type algorithms. The researchers are developing new analysis tools that advance the understanding of the relation between hyper-parameters and the dynamic optimization process. Iteration and computation complexities of these algorithms is being established in nonconvex optimization. Based on this development, the researchers are extending the adapted hyper-parameter scheduling scheme to stochastic optimization algorithms, which use mini-batch random sampling and therefore necessitate a joint scheduling of step-size and batch size. Analysis of sample complexity and high probability convergence guarantee is being established for these algorithms. Furthermore, these developments are guiding the design of adapted hyper-parameter scheduling scheme for gradient-based minimax optimization algorithms.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
在现代社会中,机器学习和人工智能技术已被广泛应用于提高生活质量。在这些应用中,机器学习模型(如神经网络)使用各种优化算法在大型数据集上进行训练,这些算法迭代地调整模型参数并收敛到一个好的模型。特别是,这些优化算法的收敛性往往依赖于选择一组好的超参数。例如,一个重要的算法超参数是步长,它控制每次迭代中应用于模型参数的更新规模,必须仔细选择以避免缓慢收敛和可能的发散。 在实践中,这些算法超参数要么由优化理论指导,要么通过手动微调设置。理论指导的算法超参数往往依赖于模型的某些未知几何信息,且往往过于保守,导致收敛速度慢,而人工微调的算法超参数则严重依赖于具体的应用和算法,且往往会引入大量的计算开销。该项目旨在解决这些问题,为不同类型的优化算法开发一个原则性的,计算量小的和有效的超参数调度方案,以实现快速和稳定的收敛。开发的自适应超参数调度方案旨在方便机器学习从业者调整算法超参数,并动态地使其适应正在进行的优化过程。这对大规模机器学习应用的实施产生了进一步的积极影响,例如自动驾驶,训练对抗鲁棒模型,财务和控制中的鲁棒决策等。研究人员正在开发一个有原则的和有效的算法超参数调度框架,该框架联合适应不同的算法超参数,参数的局部几何非凸目标函数的各种流行的优化算法,并证实他们与强有力的理论收敛保证非凸机器学习。具体来说,研究人员正在为确定性优化算法开发这种几何适应的超参数调度方案,包括一阶基于梯度的算法,加速梯度算法和二阶牛顿型算法。研究人员正在开发新的分析工具,以促进对超参数和动态优化过程之间关系的理解。这些算法的迭代和计算复杂性是建立在非凸优化。基于这一发展,研究人员正在将自适应超参数调度方案扩展到随机优化算法,该算法使用小批量随机采样,因此需要步长和批量的联合调度。分析样本的复杂性和高概率收敛保证正在建立这些算法。此外,这些发展正在指导基于梯度的极大极小优化算法的自适应超参数调度方案的设计。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(8)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Sample Efficient Stochastic Policy Extragradient Algorithm for Zero-Sum Markov Game
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ziyi Chen;Shaocong Ma;Yi Zhou
  • 通讯作者:
    Ziyi Chen;Shaocong Ma;Yi Zhou
Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
  • DOI:
  • 发表时间:
    2021-03
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Shaocong Ma;Ziyi Chen;Yi Zhou;Shaofeng Zou
  • 通讯作者:
    Shaocong Ma;Ziyi Chen;Yi Zhou;Shaofeng Zou
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
  • DOI:
  • 发表时间:
    2021-02
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ziyi Chen;Yi Zhou;Tengyu Xu;Yingbin Liang
  • 通讯作者:
    Ziyi Chen;Yi Zhou;Tengyu Xu;Yingbin Liang
Data sampling affects the complexity of online SGD over dependent data
数据采样会影响在线 SGD 相对于相关数据的复杂性
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Yi Zhou其他文献

RNN-Based Sequence-Preserved Attention for Dependency Parsing
基于 RNN 的序列保留注意力依存解析
  • DOI:
    10.1609/aaai.v32i1.12011
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yi Zhou;Junying Zhou;Lu Liu;Jiangtao Feng;Haoyuan Peng;Xiaoqing Zheng
  • 通讯作者:
    Xiaoqing Zheng
迷走神经背核NMDA受体依赖突触活动介导针刺足三里对胃运动的增强
Phylogenetic study of Ameiurus melas based on complete mitochondrial DNA sequence
基于完整线粒体DNA序列的黑腹鲫鱼系统发育研究
  • DOI:
    10.3109/19401736.2015.1106511
  • 发表时间:
    2016-11
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Fan Yu;Juhua Yu;Yi Zhou;Jinpeng Yan;Yanhong Fang;Wenjun Wang;Zhong Yang
  • 通讯作者:
    Zhong Yang
Inherent Oxygen Vacancies Boost Surface Reconstruction of Ultrathin Ni-Fe Layered-Double-Hydroxides toward Efficient Electrocatalytic Oxygen Evolution
固有氧空位促进超薄 Ni-Fe 层状双氢氧化物的表面重构,实现高效电催化析氧
  • DOI:
    10.1021/acssuschemeng.1c02256
  • 发表时间:
    2021-05
  • 期刊:
  • 影响因子:
    8.4
  • 作者:
    Yi Zhou;Wenbiao Zhang;Jialai Hu;Dan Li;Xing Yin;Qingsheng Gao
  • 通讯作者:
    Qingsheng Gao
Identification of Flavonoid 3′-Hydroxylase Genes from Red Chinese Sand Pear (Pyrus pyrifolia Nakai) and Their Regulation of Anthocyanin Accumulation in Fruit Peel
红沙梨中黄酮3′-羟化酶基因的鉴定及其对果皮花色苷积累的调控
  • DOI:
    10.3390/horticulturae10060535
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    3.1
  • 作者:
    Yi Zhou;Ruiyan Tao;J. Ni;Minjie Qian;Yuanwen Teng
  • 通讯作者:
    Yuanwen Teng

Yi Zhou的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Yi Zhou', 18)}}的其他基金

CAREER: Reinforcement Learning-Based Control of Heterogeneous Multi-Agent Systems in Structured Environments: Algorithms and Complexity
职业:结构化环境中异构多智能体系统的基于强化学习的控制:算法和复杂性
  • 批准号:
    2237830
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Continuing Grant
Collaborative Research: SCALE MoDL: Advancing Theoretical Minimax Deep Learning: Optimization, Resilience, and Interpretability
合作研究:SCALE MoDL:推进理论极小极大深度学习:优化、弹性和可解释性
  • 批准号:
    2134223
  • 财政年份:
    2021
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Continuing Grant
Collaborative Research: Neural-cognitive analysis of spatial scenes with competing, dynamic sound sources
合作研究:对具有竞争性动态声源的空间场景进行神经认知分析
  • 批准号:
    1539376
  • 财政年份:
    2015
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329909
  • 财政年份:
    2024
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
AF: Small: Verification Complexities of Self-Assembly Systems
AF:小:自组装系统的验证复杂性
  • 批准号:
    2329918
  • 财政年份:
    2024
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Self-Driving Continuous Fuzzing
协作研究:SaTC:核心:小型:自驱动连续模糊测试
  • 批准号:
    2247880
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Continuing Grant
A small steps, low-literacy, breakfast-focused dietary self-management intervention for adults with poorly controlled type 2 diabetes
针对控制不佳的 2 型糖尿病成人的小步骤、低识字率、以早餐为重点的饮食自我管理干预
  • 批准号:
    10417553
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
Collaborative Research: SaTC: CORE: Small: Self-Driving Continuous Fuzzing
协作研究:SaTC:核心:小型:自驱动连续模糊测试
  • 批准号:
    2247881
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Continuing Grant
I-Corps: Catalytic Artificial Self-Assemblies for the Biocatalytic Production of Small Molecules
I-Corps:用于小分子生物催化生产的催化人工自组装体
  • 批准号:
    2335922
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Toward Privacy Equity through Contextual Understanding of Self-Disclosure
SaTC:核心:小:通过自我披露的情境理解实现隐私公平
  • 批准号:
    2247723
  • 财政年份:
    2023
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Hardware-assisted Self-repairing in Decentralized Cloud Storage against Malicious Attacks
SaTC:CORE:小型:去中心化云存储中的硬件辅助自我修复抵御恶意攻击
  • 批准号:
    2225424
  • 财政年份:
    2022
  • 资助金额:
    $ 41.12万
  • 项目类别:
    Standard Grant
First in Human Study of a Tau Self-Association Small Molecule Inhibitor in Healthy Volunteers
首次在健康志愿者中进行 Tau 自联小分子抑制剂的人体研究
  • 批准号:
    10673633
  • 财政年份:
    2022
  • 资助金额:
    $ 41.12万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了