OLML:在线机器学习系统研究
批准号:
62072458
项目类别:
面上项目
资助金额:
57.0 万元
负责人:
杜小勇
依托单位:
学科分类:
系统软件、数据库与工业软件
结题年份:
2024
批准年份:
2020
项目状态:
已结题
项目参与者:
杜小勇
中文摘要
OLML(Online Machine Learning)是一类新型的数据库管理系统,将机器学习模型训练任务看作是一种 “复杂数据分析”任务,支持用户的即时(ad hoc)式的在线模型训练和部署。OLML系统以机器学习所涉及的数据和模型为管理对象,通过“复用”等手段,降低模型训练和部署的成本、缩短模型训练和部署时间以满足在线模型训练的要求,从而实现“在线”学习的目的。.研究内容包括系统体系架构设计、机器学习描述语言MLDL的设计、训练数据之间以及训练数据与模型之间的语义关联、自动生成候选训练计划、自动选择最优训练计划、评测基准的构建、以及原型系统研制等。关注的核心科学问题是:1)如何实现“小时级”的模型学习与部署 2)如何有效地管理训练数据 3)什么是“好的”OLML系统. 通过研究形成完整的OLML的概念体系和原型系统,做出原创性成果。
英文摘要
OLML(Online Machine Learning)is a new category of database management systems. It treats model training tasks in machine learning as a kind of "complex data analysis" tasks, and supports ad hoc model training and deployment in one-hour level. For this purpose of online machine learning, OLML decouples machine learning process into a serious of steps and a set of data sets, from raw data set to final models. By reusing data sets and models among different training tasks and managing all objects in machine learning efficiently, we hope to upgrade the efficiency of OLML system significantly..The research topics include OLML system architecture, machine learning declarative language design, extraction of semantic relations among training data and between training data and model, automatical generation of training plans, optimization of training plans, benchmark evaluation, and prototype system development, etc..We focus on three technique challenges:1) How to implement an OLML system that can learn and deploy a model in one-hourlevel. 2) How to manage training data and models efficiently 3) What is the standard of a "good" OLML system. We hope to build a complete set of concepts for OLML and conduct leading research in this new field in the world.
本项目围绕在线机器学习(Online Machine Learning, OLML)系统的理论与应用开展研究,旨在开发一种将模型训练视作查询任务的新型数据库管理系统,以实现模型训练与部署的即时化,将模型训练与部署的时间作为系统的优化目标(类似TPC-C是事务型数据库系统的优化目标)。项目从“数据管理”和“计算复用”两个核心视角入手,解决了现有机器学习系统难以满足在线实时学习需求的关键问题,大幅降低了模型训练与部署的时间及成本。研究内容包括系统架构设计、关键技术研发与原型系统实现。首先、项目构建了支持“小时级”模型训练与部署的高效系统架构,提出机器学习描述语言(MLDL)以实现数据与模型间的语义关联和自动训练计划生成;其次、项目研究了核心关键技术,包括:开发了高效模型存储与复用算法AdaReuse及两阶段模型选择框架,大幅提升有限数据场景下的模型训练效率;设计了C&F和JEEP框架,有效缓解动态场景中快速适应新数据分布时的灾难性遗忘问题。最后研制了原型系统,包含10000行代码并已开源。.此外,项目组还围绕模型训练的全生命周期开展了相关的研究。针对数据准备与集成,提出了领域适配的数据实体匹配系统DADER及统一数据匹配模型Unicorn,支持零样本任务与知识共享。针对自然语言查询接口,构建了Few-shot Text-to-SQL和ZeroNL2SQL框架,显著提高低标注场景下的SQL生成性能;针对模型推理,研发了基于边缘设备的优化CNN架构(TREC和DREW),在微控制器推理性能和精度上实现突破;针对大规模数据存储与计算带来的挑战,在GPU计算与数据压缩领域,提出了高效GPU并行算法(如G-BFC)和数据压缩处理引擎(CompressDB、CompressStreamDB),显著提高数据管理与查询效率。针对数据发布需求,设计了HAIPipe框架优化数据准备,并基于GAN技术提升表格数据的合成质量,助力隐私保护与数据共享。.项目共发表高水平论文24篇,其中CCF A类论文22篇,CCF B类论文2篇。提出多项原创算法与技术,推动了在线机器学习数据库系统的研究与应用进展。
OLML:在线机器学习系统研究
-
批准号:--
-
项目类别:--
-
资助金额:57万元
-
批准年份:2020
-
负责人:杜小勇
-
依托单位:
云计算环境下海量RDF数据管理系统核心技术研究
-
批准号:61170010
-
项目类别:面上项目
-
资助金额:57.0万元
-
批准年份:2011
-
负责人:杜小勇
-
依托单位:
基于RDF自适应存储的SPARQL查询优化技术研究
-
批准号:60873017
-
项目类别:面上项目
-
资助金额:31.0万元
-
批准年份:2008
-
负责人:杜小勇
-
依托单位:
本体库管理系统技术研究
-
批准号:60573092
-
项目类别:面上项目
-
资助金额:25.0万元
-
批准年份:2005
-
负责人:杜小勇
-
依托单位:
数据仓库系统技术研究
-
批准号:69973050
-
项目类别:面上项目
-
资助金额:12.0万元
-
批准年份:1999
-
负责人:杜小勇
-
依托单位:
国内基金
海外基金