CIF: Small: Towards Robust Statistical Learning: Theory and Algorithms

CIF:小:迈向稳健的统计学习:理论和算法

基本信息

  • 批准号:
    1908905
  • 负责人:
  • 金额:
    $ 35.13万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2019
  • 资助国家:
    美国
  • 起止时间:
    2019-10-01 至 2023-09-30
  • 项目状态:
    已结题

项目摘要

Machine learning algorithms are used to automate various tasks by finding patterns in the existing data. The mathematical analysis of machine learning algorithms starts by assuming that the available dataset is described by a model with certain properties. However, as real-world data often do not satisfy the model assumptions exactly, there is a need to reduce the gap between the "mathematical" and "real" worlds by weakening the mathematical assumptions. The concept of robustness plays a central role in understanding this gap. First, the project will formulate principles for building robust algorithms. The project will then apply these principles to address problems related to the existence of mathematically justified and computationally efficient robust methods for prediction and classification tasks, which are among the most popular problems solved by machine learning algorithms. The project will also support undergraduate research by training students to apply advanced methods to the analysis of modern data sets. Additional efforts will be made to establish closer ties between the academic and industry machine learning research communities. One part of the project is devoted to robust empirical risk minimization. Empirical risk minimization is one of the fundamental concepts underlying modern mathematical statistics and statistical learning algorithms, including regression and maximum likelihood estimation. However, empirical risk minimization is not robust in many scenarios, with a single "atypical point" amongst the observations possibly significantly affecting performance. The work done in the course of this project will lead to algorithms that avoid explicit outlier detection and removal, and which instead take advantage of existing or purposefully induced symmetries in the distribution of the data. The analysis of these new algorithms will require the development of novel techniques related to Bahadur-type representations of robust estimators, and of new generalizations of the median-of-means principle. Another part of the project aims at developing robust modifications of the Federated Learning algorithm, originally designed as a communication-effective alternative to the standard centralized datacenter framework. The project will design new and robust versions of the Federated Learning algorithm that provably work in the challenging scenario where the input data have different distributions. Finally, the investigator will address inferential problems in robust learning by devising robust versions of posterior distributions that are central objects in Bayesian statistics; he will study the Bernstein-von Mises theorem for these robust posteriors, a fundamental result connecting the frequentist and Bayesian methods.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
机器学习算法被用来通过在现有数据中找到模式来自动执行各种任务。机器学习算法的数学分析首先假设可用的数据集由具有特定属性的模型描述。然而,由于真实世界的数据往往不能完全满足模型假设,因此有必要通过削弱数学假设来缩小“数学”和“真实”世界之间的差距。健壮性的概念在理解这一差距方面发挥着核心作用。首先,该项目将制定构建健壮算法的原则。然后,该项目将应用这些原则来解决与预测和分类任务的数学证明和计算高效的稳健方法的存在相关的问题,这些方法是机器学习算法解决的最受欢迎的问题之一。该项目还将通过培训学生将先进方法应用于现代数据集分析来支持本科生的研究。将作出更多努力,在学术界和工业界机器学习研究界之间建立更紧密的联系。该项目的一部分致力于稳健的经验风险最小化。经验风险最小化是现代数理统计和统计学习算法的基本概念之一,包括回归和最大似然估计。然而,经验风险最小化在许多情况下并不可靠,观察中的一个“非典型点”可能会显著影响业绩。在这个项目过程中所做的工作将导致避免显式异常值检测和去除的算法,而是利用数据分布中现有的或有目的地诱导的对称性。对这些新算法的分析将需要开发与稳健估计的Bahadur型表示有关的新技术,以及均值中值原理的新推广。该项目的另一部分旨在对联邦学习算法进行强有力的修改,该算法最初被设计为标准集中式数据中心框架的一种通信有效的替代方案。该项目将设计新的和强大的联合学习算法版本,可以证明在输入数据具有不同分布的具有挑战性的情况下工作。最后,研究人员将通过设计作为贝叶斯统计学中心对象的后验分布的稳健版本来解决稳健学习中的推理问题;他将研究这些稳健后验分布的伯恩斯坦-冯·米塞斯定理,这是连接频率主义和贝叶斯方法的基本结果。该奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(11)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
The Geometric Median and Applications to Robust Mean Estimation
  • DOI:
    10.1137/23m1592420
  • 发表时间:
    2023-07
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Stanislav Minsker;Nate Strawn
  • 通讯作者:
    Stanislav Minsker;Nate Strawn
U-statistics of growing order and sub-Gaussian mean estimators with sharp constants
具有尖锐常数的增长阶 U 统计量和亚高斯均值估计量
Efficient median of means estimator
有效中位数均值估计器
Median of Means Principle for Bayesian Inference
贝叶斯推理的均值中值原则
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Minsker, S;Yao, S.
  • 通讯作者:
    Yao, S.
Robust Estimation of Covariance Matrices: Adversarial Contamination and Beyond
协方差矩阵的稳健估计:对抗性污染及其他
  • DOI:
  • 发表时间:
    2024
  • 期刊:
  • 影响因子:
    1.4
  • 作者:
    Minsker, Stanislav;Wang, Lang
  • 通讯作者:
    Wang, Lang
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Stanislav Minsker其他文献

Sub-Gaussian estimators of the mean of a random matrix with heavy-tailed entries
  • DOI:
    10.1214/17-aos1642
  • 发表时间:
    2016-05
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Stanislav Minsker
  • 通讯作者:
    Stanislav Minsker
On Some Extensions of Bernstein's Inequality for Self-adjoint Operators
  • DOI:
    10.1016/j.spl.2017.03.020
  • 发表时间:
    2011-12
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Stanislav Minsker
  • 通讯作者:
    Stanislav Minsker
Plug-in Approach to Active Learning
主动学习的插件方法
  • DOI:
    10.5555/2503308.2188388
  • 发表时间:
    2011
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Stanislav Minsker
  • 通讯作者:
    Stanislav Minsker
$L_1$-Penalization in Functional Linear Regression with Subgaussian Design
$L_1$-亚高斯设计函数线性回归中的惩罚
  • DOI:
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    V. Koltchinskii;Stanislav Minsker
  • 通讯作者:
    Stanislav Minsker
Geometric median and robust estimation in Banach spaces
  • DOI:
    10.3150/14-bej645
  • 发表时间:
    2013-08
  • 期刊:
  • 影响因子:
    1.5
  • 作者:
    Stanislav Minsker
  • 通讯作者:
    Stanislav Minsker

Stanislav Minsker的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Stanislav Minsker', 18)}}的其他基金

CAREER: Robust and Efficient Algorithms for Statistical Estimation and Inference
职业:用于统计估计和推理的稳健且高效的算法
  • 批准号:
    2045068
  • 财政年份:
    2021
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Continuing Grant
Bridging the Gap Between Theory and Applications: Robust and Scalable Statistical Estimation
弥合理论与应用之间的差距:稳健且可扩展的统计估计
  • 批准号:
    1712956
  • 财政年份:
    2017
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CIF: Small: Towards a Control Framework for Neural Generative Modeling
CIF:小:走向神经生成建模的控制框架
  • 批准号:
    2348624
  • 财政年份:
    2024
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards Secure and Trustworthy Tree Models
协作研究:SaTC:核心:小型:迈向安全可信的树模型
  • 批准号:
    2413046
  • 财政年份:
    2024
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards a Privacy-Preserving Framework for Research on Private, Encrypted Social Networks
协作研究:SaTC:核心:小型:针对私有加密社交网络研究的隐私保护框架
  • 批准号:
    2318843
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Continuing Grant
Collaborative Research: NSF-AoF: CNS Core: Small: Towards Scalable and Al-based Solutions for Beyond-5G Radio Access Networks
合作研究:NSF-AoF:CNS 核心:小型:面向超 5G 无线接入网络的可扩展和基于人工智能的解决方案
  • 批准号:
    2225578
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards Secure and Trustworthy Tree Models
协作研究:SaTC:核心:小型:迈向安全可信的树模型
  • 批准号:
    2247619
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards a Privacy-Preserving Framework for Research on Private, Encrypted Social Networks
协作研究:SaTC:核心:小型:针对私有加密社交网络研究的隐私保护框架
  • 批准号:
    2318844
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Continuing Grant
Collaborative Research: SaTC: CORE: Small: Towards Robust, Scalable, and Resilient Radio Fingerprinting
协作研究:SaTC:核心:小型:迈向稳健、可扩展和有弹性的无线电指纹识别
  • 批准号:
    2225161
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Towards Secure and Trustworthy Tree Models
协作研究:SaTC:核心:小型:迈向安全可信的树模型
  • 批准号:
    2247620
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Towards Deceptive and Domain-Specific Cyber-Physical Honeypots
SaTC:核心:小型:走向欺骗性和特定领域的网络物理蜜罐
  • 批准号:
    2231651
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
Collaborative Research: IIS-III: Small Towards Fair Outlier Detection
协作研究:IIS-III:小到公平的异常值检测
  • 批准号:
    2310481
  • 财政年份:
    2023
  • 资助金额:
    $ 35.13万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了