PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
基本信息
- 批准号:RGPIN-2020-07223
- 负责人:
- 金额:$ 2.11万
- 依托单位:
- 依托单位国家:加拿大
- 项目类别:Discovery Grants Program - Individual
- 财政年份:2020
- 资助国家:加拿大
- 起止时间:2020-01-01 至 2021-12-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
The PAC-Bayesian theory, initiated by David McAllester (1999), is a statistical approach to machine learning. It provides guarantees on predictor accuracy, expressed by probabilistic upper bounds on the generalization error. The main assumption of the classical PAC-Bayesian results is that the observed training set contains independently and identically distributed (iid) observations generated by a (fixed and unknown) data distribution, and that the learned predictor is to be used on observations generated by the very same data distribution. This assumption does not hold for many real-life machine learning tasks, as the data distribution is prone to evolve with time and environment.
To avoid retraining a machine learning from scratch for every new data distribution - which requires a proper training set for the new task(s) - several transfer learning methods have been developed. The transfer learning framework encompasses all methods reusing the "knowledge" learned by solving a first task in order to solve a second task (different but related to the first one). In a favorable context, only few training observations might be necessary to adapt the predictor to the new task. Note that there exist several transfer learning approaches, according to the problem characteristics: domain adaptation, multitask learning, meta-learning, etc. A framework of interest is the representation learning one, which has been popularized by the recent deep neural networks advances. This research proposal focuses on leveraging the PAC-Bayesian theory to study a variety of transfer learning approaches, divided into two main research axes.
A fist axis will be to study the unsupervised representation learning framework into the PAC-Bayesian paradigm. A promising research direction is the rigorous theoretical formalization of "contrastive" representation learning proposed recently by Arora et al. (2019). It gives a solid basis from which one can mathematically study the problem at hand. The resulting analysis will be used for learning representation with neural networks, but also other methods as kernel ones.
A second axis will be to build on the domain adaptation algorithm of Germain et al. (2016), named DALC. Although efficient on small datasets, this algorithm, as other classical kernel methods, cannot be used on large datasets due to its algorithmic complexity. A well-known method to accelerate kernel methods is the approximation by random Fourier features (Rahimi and Recht, 2007), that we revisited from a PAC-Bayesian perspective (Letarte et al., 2019). Another strategy will be to develop a PAC-Bayesian optimal transport approach to domain adaptation.
PAC-Bayesian理论由大卫·麦卡莱斯特(David McAllester,1999)提出,是一种机器学习的统计方法。它提供了保证的预测精度,表示的概率上界的泛化误差。经典PAC-Bayesian结果的主要假设是,观察到的训练集包含由(固定和未知)数据分布生成的独立同分布(iid)观测,并且学习的预测器将用于由相同数据分布生成的观测。这个假设并不适用于许多现实生活中的机器学习任务,因为数据分布往往会随着时间和环境的变化而变化。
为了避免对每个新的数据分布从头开始重新训练机器学习-这需要为新任务提供适当的训练集-已经开发了几种迁移学习方法。迁移学习框架包含了所有的方法,这些方法重复使用通过解决第一个任务而学到的“知识”,以解决第二个任务(与第一个任务不同但相关)。在有利的情况下,可能只需要很少的训练观察就可以使预测器适应新的任务。请注意,根据问题的特征,存在几种迁移学习方法:域自适应,多任务学习,元学习等。感兴趣的框架是表示学习,它已被最近的深度神经网络进展所推广。该研究计划的重点是利用PAC-贝叶斯理论来研究各种迁移学习方法,分为两个主要研究轴。
第一个轴将研究无监督表示学习框架到PAC贝叶斯范式。一个有前途的研究方向是Arora等人最近提出的“对比”表征学习的严格理论形式化。它提供了一个坚实的基础,从中可以数学研究手头的问题。由此产生的分析将用于学习表示与神经网络,但也作为内核的其他方法。
第二个轴将建立在Germain等人的域自适应算法上。(2016),名为DALC。虽然该算法在小数据集上是有效的,但由于其算法复杂性,该算法与其他经典核方法一样不能用于大数据集。加速核方法的一种众所周知的方法是通过随机傅立叶特征的近似(Rahimi和Recht,2007),我们从PAC-贝叶斯的角度重新审视了该方法(Letarte等人,2019年)。另一个战略将是开发一个PAC贝叶斯最优传输方法域适应。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Germain, Pascal其他文献
PAC-Bayes and domain adaptation
- DOI:
10.1016/j.neucom.2019.10.105 - 发表时间:
2020-02-28 - 期刊:
- 影响因子:6
- 作者:
Germain, Pascal;Habrard, Amaury;Morvant, Emilie - 通讯作者:
Morvant, Emilie
Germain, Pascal的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Germain, Pascal', 18)}}的其他基金
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
RGPIN-2020-07223 - 财政年份:2022
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Grants Program - Individual
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
RGPIN-2020-07223 - 财政年份:2021
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Grants Program - Individual
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
DGECR-2020-00313 - 财政年份:2020
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Launch Supplement
Conception et analyse d'algorithmes d'apprentissage PAC-Bayésiens pour données massives
PAC-Bayésiens 的学徒算法的概念和分析
- 批准号:
471676-2015 - 财政年份:2017
- 资助金额:
$ 2.11万 - 项目类别:
Postdoctoral Fellowships
Conception et analyse d'algorithmes d'apprentissage PAC-Bayésiens pour données massives
PAC-Bayésiens 的学徒算法的概念和分析
- 批准号:
471676-2015 - 财政年份:2016
- 资助金额:
$ 2.11万 - 项目类别:
Postdoctoral Fellowships
Conception et analyse d'algorithmes d'apprentissage PAC-Bayésiens pour données massives
PAC-Bayésiens 的学徒算法的概念和分析
- 批准号:
471676-2015 - 财政年份:2015
- 资助金额:
$ 2.11万 - 项目类别:
Postdoctoral Fellowships
Développement d'algorithmes d'apprentissage automatique basés sur la minimisation de bornes théoriques
基于理论最小化的自动学徒算法的开发
- 批准号:
347552-2009 - 财政年份:2010
- 资助金额:
$ 2.11万 - 项目类别:
Postgraduate Scholarships - Doctoral
Développement d'algorithmes d'apprentissage automatique basés sur la minimisation de bornes théoriques
基于理论最小化的自动学徒算法的开发
- 批准号:
347552-2009 - 财政年份:2009
- 资助金额:
$ 2.11万 - 项目类别:
Postgraduate Scholarships - Doctoral
Classification de lieux physiques à l'aide de données recueillies par capteurs lasers
激光捕获者身体状况分类
- 批准号:
347552-2008 - 财政年份:2008
- 资助金额:
$ 2.11万 - 项目类别:
Postgraduate Scholarships - Master's
Classification de lieux physiques à l'aide de données recueillies par capteurs lasers
激光捕获者身体状况分类
- 批准号:
347552-2007 - 财政年份:2007
- 资助金额:
$ 2.11万 - 项目类别:
Postgraduate Scholarships - Master's
相似国自然基金
多元纵向数据与复发事件和终止事件的Bayesian联合模型研究
- 批准号:82173628
- 批准年份:2021
- 资助金额:52 万元
- 项目类别:面上项目
三维地质模型约束下地球化学场的Bayesian-MCMC推断
- 批准号:42072326
- 批准年份:2020
- 资助金额:63 万元
- 项目类别:面上项目
基于Bayesian Kriging模型的压射机构稳健优化设计基础研究
- 批准号:51875209
- 批准年份:2018
- 资助金额:59.0 万元
- 项目类别:面上项目
X射线图像分析中的MCMC-Bayesian理论与计算方法研究
- 批准号:U1830105
- 批准年份:2018
- 资助金额:62.0 万元
- 项目类别:联合基金项目
基于Bayesian位移场的SAR图像精确配准方法研究
- 批准号:41601345
- 批准年份:2016
- 资助金额:19.0 万元
- 项目类别:青年科学基金项目
多结局Bayesian联合生存模型及糖尿病并发症预测研究
- 批准号:81673274
- 批准年份:2016
- 资助金额:50.0 万元
- 项目类别:面上项目
基于Meta流行病学和Bayesian方法构建针刺干预无偏倚风险效果评价体系研究
- 批准号:81403276
- 批准年份:2014
- 资助金额:23.0 万元
- 项目类别:青年科学基金项目
BtoC电子商务中基于分层Bayesian网络的信任与声誉计算理论研究
- 批准号:71302080
- 批准年份:2013
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
基于Bayesian网络的坚硬顶板条件下煤与瓦斯突出预警控制机理研究
- 批准号:51274089
- 批准年份:2012
- 资助金额:80.0 万元
- 项目类别:面上项目
Bayesian实物期权及在信用风险决策中的应用
- 批准号:71071027
- 批准年份:2010
- 资助金额:23.0 万元
- 项目类别:面上项目
相似海外基金
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
RGPIN-2020-07223 - 财政年份:2022
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Grants Program - Individual
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
RGPIN-2020-07223 - 财政年份:2021
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Grants Program - Individual
PAC-Bayesian transfer learning: theory and algorithms
PAC-贝叶斯迁移学习:理论和算法
- 批准号:
DGECR-2020-00313 - 财政年份:2020
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Launch Supplement
Scalable Bayesian Network analysis of multimodal FACS and SUMOylation data, with generalization to other big mixed biological datasets
多模式 FACS 和 SUMOylation 数据的可扩展贝叶斯网络分析,并推广到其他大型混合生物数据集
- 批准号:
10359178 - 财政年份:2020
- 资助金额:
$ 2.11万 - 项目类别:
Scalable Bayesian Network analysis of multimodal FACS and SUMOylation data, with generalization to other big mixed biological datasets
多模式 FACS 和 SUMOylation 数据的可扩展贝叶斯网络分析,并推广到其他大型混合生物数据集
- 批准号:
10205173 - 财政年份:2020
- 资助金额:
$ 2.11万 - 项目类别:
Experimental and theoretical investigation of Bayesian inference across multiple layers in somatosensory cortex
体感皮层多层贝叶斯推理的实验和理论研究
- 批准号:
19K20348 - 财政年份:2019
- 资助金额:
$ 2.11万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
Develop and Commercialize the Bayesian Dose-Response Modeling System and Services
开发贝叶斯剂量反应建模系统和服务并将其商业化
- 批准号:
10222676 - 财政年份:2018
- 资助金额:
$ 2.11万 - 项目类别:
Inverse materials design by integrating transfer learning techniques into a Bayesian framework
通过将迁移学习技术集成到贝叶斯框架中进行逆向材料设计
- 批准号:
18K18017 - 财政年份:2018
- 资助金额:
$ 2.11万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
Develop and Commercialize the Bayesian Dose-Response Modeling System and Services
开发贝叶斯剂量反应建模系统和服务并将其商业化
- 批准号:
10081313 - 财政年份:2018
- 资助金额:
$ 2.11万 - 项目类别:
Transfer learning for Bayesian networks
贝叶斯网络的迁移学习
- 批准号:
261282-2012 - 财政年份:2016
- 资助金额:
$ 2.11万 - 项目类别:
Discovery Grants Program - Individual