变分法与偏微分方程在机器学习中的应用

批准号:
61075119
项目类别:
面上项目
资助金额:
35.0 万元
负责人:
林通
依托单位:
学科分类:
F0304.系统工程理论与技术
结题年份:
2013
批准年份:
2010
项目状态:
已结题
项目参与者:
徐树方、卢欣、梁鑫、赵辉、冀阳峰、张小川、汪玲、刘诗、薛涵凛
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
当前机器学习研究领域主要以概率统计方法为理论工具,尽管取得了巨大成功,但也暴露出统计学习方法中诸如参数过多、经典统计分布与数据真实分布不一致等问题。我们期望从基础数学的角度出发,特别是利用变分法与偏微分方程作为数学工具,来研究机器学习的三个核心问题:(1)高维数据到低维流形空间的非线性降维问题;(2)有监督的分类问题;(3)回归或函数逼近问题。这三个问题都归结为对某个未知映射函数的求解。求解思路可分为如下三步:(1)首先利用正则化方法,适度增加合理的约束条件,构造关于待求映射函数的能量泛函;(2)然后采用变分法进行推导和简化,将能量泛函最小化问题转化为对应的欧拉-拉格朗日偏微分方程;(3)最后利用数值方法对偏微分方程进行求解。此研究的特点是可充分利用变分法与偏微分方程的丰富理论结果,力争在机器学习方法论层面上取得突破和创新。
英文摘要
当前机器学习研究领域主要以概率统计方法为主要算法工具,尽管取得了巨大成功,但也暴露出统计学习方法中诸如参数过多、经典统计分布与数据真实分布不一致等问题。我们从基础数学的角度出发,以全变差与欧拉弹性能量为基础建立几何正则项,利用变分法与偏微分方程作为数学工具,来研究机器学习中的监督学习问题。具体分为如下三步:(1)首先利用几何正则化方法,以全变差与欧拉弹性能量为基础,构造监督学习的能量代价泛函;(2)然后采用变分法进行推导和简化,将能量泛函最小化问题转化为对应的欧拉-拉格朗日偏微分方程;(3)最后利用函数基逼近的数值方法,对偏微分方程进行数值求解。我们在两类分类、多类分类、和回归三个监督学习问题上做了大量实验,与神经网络与支撑向量机相比较,我们算法取得了较高的准确度。此研究的特点是充分利用全变差与欧拉弹性能量的几何属性,以及变分法与偏微分方程的丰富理论结果,在机器学习的方法论层面上取得了突破和创新。
专著列表
科研奖励列表
会议论文列表
专利列表
机器学习算法的margin理论
- 批准号:61375051
- 项目类别:面上项目
- 资助金额:79.0万元
- 批准年份:2013
- 负责人:林通
- 依托单位:
流形学习与几何数据分析
- 批准号:60775006
- 项目类别:面上项目
- 资助金额:25.0万元
- 批准年份:2007
- 负责人:林通
- 依托单位:
多进制小波理论及其在基于内容的图像压缩中的应用
- 批准号:60302005
- 项目类别:青年科学基金项目
- 资助金额:15.0万元
- 批准年份:2003
- 负责人:林通
- 依托单位:
国内基金
海外基金
