多任务学习的理论分析与应用
批准号:
11401076
项目类别:
青年科学基金项目
资助金额:
22.0 万元
负责人:
张超
依托单位:
学科分类:
A0502.数值代数
结题年份:
2017
批准年份:
2014
项目状态:
已结题
项目参与者:
范钦伟、李锋、贾杰
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
多任务学习是指在一次学习过程中同时完成多个学习任务的方法。相比于传统的单任务学习方法,多任务学习更关注于各个任务之间的相关性,并利用此相关性以更低的运算成本得到更具泛化性的结果。尽管多任务学习方法已经被广泛应用到许多领域,但是其理论分析工作还处于起步阶段并仍有许多问题有待进一步的解决。在本项目中,我们将研究多任务学习过程的泛化界、一致性、收敛率和学习模型的可学习性等。考虑到多任务学习的特性,我们拟将经典的统计学习理论结果推广到向量值函数情形。我们将得到对应于向量值函数的偏差不等式、对称不等式进而求得多任务学习过程的泛化界。我们还将研究向量值函数类复杂度和任务相关性度量,并讨论任务相关性对多任务学习过程的一致性和收敛率的影响。以得到的理论结果为基础,我们将对已有的多任务学习算法模型进行改进。
英文摘要
Multi-task learning is referring to a learning process where multiple learning tasks are achieved simultaneously. Compared to the traditional single-task learning, the multi-task learning performs better at a lower cost by exploiting the relatedness among multiple tasks, and the learning results have a stronger generalization ability. At present, the multi-task learning has been widely used for many practical applications, e.g., biological image processing and pattern recognition. However, the theoretical research of multi-task learning is still in the beginning stages with many unsolved theoretical issues. In this project, we will study the theoretical properties of the multi-task learning process including the generalization bounds, the consistence and the rate of convergence. In view of the inherent characteristic of the multi-task learning, we will extend the classical results of the statistical learning theory to the setting of vector-valued functions. In particular, we will develop the deviation inequalities and the symmetrization inequalities for the vector-valued functions as well as the generalization bounds for multi-task learning. We will also study the complexity measures of the vector-valued function classes. Next, we will find some quantities to describe the relatedness between two tasks and then analyze how the task relatedness affects the consistence and the rate of convergence of the multi-task learning processes. Based on the theoretical findings, we will further improve the existing multi-task learning models.
多任务学习是指在一次学习过程中同时完成多个学习任务的方法。相比于传统的单任务学习方法,多任务学习更关注于各个任务之间的相关性,并利用此相关性以更低的运算成本得到更具泛化性的结果。尽管多任务学习方法已经被广泛应用到许多领域,但是其理论分析工作还处于起步阶段并仍有许多问题有待进一步的解决。在本项目中,我们采用向量值函数学习的框架去研究多任务学习过程的泛化界和一致性。在此过程中,我们给出了适用于向量值函数的集中不等式,对称不等式和函数类复杂度等,这些工作在机器学习领域都是新的尝试,我们的结果刻画了多任务学习过程中,每个任务的泛化性变化。此外,我们还对随机矩阵理论进行了深入研究,并将得到的结果用到多任务学习问题的研究中去。在应用方面,我们利用机器学习方法进行药品发现和采用多任务学习的方法进行多光谱食品安全检测。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1155/2015/826812
发表时间:2015-11
期刊:Discrete Dynamics in Nature and Society
影响因子:1.4
作者:M. Yao;Chao Zhang;Wei Wu
通讯作者:M. Yao;Chao Zhang;Wei Wu
LSV-Based Tail Inequalities for Sums of Random Matrices
基于 LSV 的随机矩阵和的尾部不等式
DOI:10.1162/neco_a_00901
发表时间:2017
期刊:Neural Computation
影响因子:2.9
作者:Chao Zhang;杜磊;Dacheng Tao
通讯作者:Dacheng Tao
Drug-symptom networking: Linking drug-likeness screening to drug discovery.
药物症状网络:将药物相似性筛选与药物发现联系起来
DOI:10.1016/j.phrs.2015.11.015
发表时间:2015
期刊:Pharmacological Research
影响因子:9.3
作者:Xu Xue;Zhang Chao;Li PiDong;Zhang FeiLong;Gao Kuo;Chen JianXin;Shang HongCai
通讯作者:Shang HongCai
Relaxed conditions for convergence analysis of online back-propagation algorithm with L2 regularizer for Sigma-Pi-Sigma neural network
Sigma-Pi-Sigma 神经网络 L-2 正则化在线反向传播算法收敛分析的宽松条件
DOI:10.1016/j.neucom.2017.06.057
发表时间:2018-01-10
期刊:NEUROCOMPUTING
影响因子:6
作者:Liu, Yan;Yang, Dakun;Zhang, Chao
通讯作者:Zhang, Chao
面向深度神经网络的统计学习理论研究
- 批准号:--
- 项目类别:面上项目
- 资助金额:57万元
- 批准年份:2021
- 负责人:张超
- 依托单位:
基于非独立同分布样本的统计学习理论研究与应用
- 批准号:61473328
- 项目类别:面上项目
- 资助金额:58.0万元
- 批准年份:2014
- 负责人:张超
- 依托单位:
国内基金
海外基金















{{item.name}}会员


