支持可扩展事务处理的数据库日志机制及其实现

批准号:
61672232
项目类别:
面上项目
资助金额:
16.0 万元
负责人:
钱卫宁
依托单位:
学科分类:
F0202.系统软件、数据库与工业软件
结题年份:
2017
批准年份:
2016
项目状态:
已结题
项目参与者:
吴苑斌、朱涛、周欢、王冬慧、张俍、胡爽、王雷、黄建伟、孙晨
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
随着互联网向传统行业渗透,以及传统领域的互联网化,后台事务处理系统面临着前所未有的性能和可扩展性压力。可扩展数据管理系统是解决新兴互联网级应用事务处理需求问题的主要发展方向,但由于日志记录本身的特点,现有技术不足以满足系统横向扩展后对日志记录高效、快速、高通量,以及事务恢复可靠、可用、即时的要求。项目针对具有高性能、高通量、高可靠、高可用、高一致性的事务处理需求,基于可扩展DBMS架构,系统研究高速日志记录和即时恢复的理论和方法;重点研究单节点日志记录优化、多节点日志同步策略、新型非易失内存的利用等关键技术;形成开源系统原型,通过基准评测,验证研究成果的效果;解决日志机制这一事务处理性能瓶颈问题;为落实我国关键信息系统“自主可靠、安全可控”发展战略提供技术支撑。申请人和研究团队在高速数据流处理、分布式数据管理技术、新型数据管理系统等方面有长期丰富的研究积累,具有顺利开展项目研究的良好基础。
英文摘要
The convergence of traditional domains and internet industries results in great pressure on backend transaction processing systems in the perspective of performance and scalability. Scalable data management systems are major players that may solve the problem. However, due to the requirements of consistency to database logs, existing logging mechanism cannot scale along with the system, thus become the bottleneck of the system. This project proposes to study fast logging and instant recovery theories and technologies. The research will focus on technologies of optimization of single-node logging, various log synchronization strategies, logging on non-volatile memory, etc. The technologies are to be integrated in open-source systems and evaluated by open benchmarks. The research aims at solving the bottleneck problem of logging, and supporting to build open and secure information systems. The research team has strong research background in streaming data processing, distributed data management, and database management systems with new architecture. The research plan is innovative and practical.
随着互联网向传统行业渗透,以及传统领域的互联网化,后台事务处理系统面临着前所未有的性能和可扩展性压力。可扩展数据管理系统是解决新兴互联网级应用事务处理需求问题的主要发展方向,但由于日志记录本身的特点,现有技术不足以满足系统横向扩展后对日志记录高效、快速、高通量,以及事务恢复可靠、可用、即时的要求。项目针对具有高性能、高通量、高可靠、高可用、高一致性的事务处理需求,基于可扩展DBMS架构,系统研究了高速日志记录和即时恢复的理论和方法;重点研究了单节点日志记录优化、多节点日志同步策略、新型非易失内存的利用等关键技术;形成开源系统原型,通过基准评测, 验证了研究成果的效果;解决了日志机制这一事务处理性能瓶颈问题。项目成果作为开源数据库管理系统的一部分,成功在交通银行多个业务系统中应用,为落实我国关键信息系统“自主可靠、安全可控”发展战略提供了技术支撑。..课题已发表期刊论文3篇,会议论文9篇,另有一篇论文被SIGMOD 2018接收。课题申请专利1项,发布开源系统1项,培养博士生2名,硕士生2名。课题成果作为主要研究内容之一,获得了2017年度高等学校科学研究优秀成果奖(科学技术)科技进步一等奖。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Top-k temporal keyword search over social media data
社交媒体数据上的 Top-k 时间关键词搜索
DOI:10.1007/s11280-016-0430-0
发表时间:2017-01
期刊:World Wide Web-Internet and Web Information Systems
影响因子:3.7
作者:Xia Fan;Yu Chengcheng;Xu Linhao;Qian Weining;Zhou Aoying
通讯作者:Zhou Aoying
Log Replication and Recovery in Cluster-Based Database System
基于集群的数据库系统中的日志复制与恢复
DOI:10.13328/j.cnki.jos.005162
发表时间:2017
期刊:Ruan Jian Xue Bao/Journal of Software
影响因子:--
作者:王嘉豪;蔡鹏;钱卫宁;周傲英
通讯作者:周傲英
Fault-tolerant precise data access on distributed log-structured merge-tree
分布式日志结构合并树上的容错精确数据访问
DOI:10.1007/s11704-018-7198-6
发表时间:2019
期刊:Frontiers of Computer Science
影响因子:4.2
作者:Zhu Tao;Hu Huiqi;Qian Weining;Zhou Huan;Zhou Aoying
通讯作者:Zhou Aoying
面向教育的数据驱动学习行为建模与可解释性分析
- 批准号:62137001
- 项目类别:重点项目
- 资助金额:299万元
- 批准年份:2021
- 负责人:钱卫宁
- 依托单位:
行为数据驱动的个性化计算机科学教育方法与系统
- 批准号:61977026
- 项目类别:面上项目
- 资助金额:52.0万元
- 批准年份:2019
- 负责人:钱卫宁
- 依托单位:
大数据管理系统评测基准的理论与方法
- 批准号:61432006
- 项目类别:重点项目
- 资助金额:350.0万元
- 批准年份:2014
- 负责人:钱卫宁
- 依托单位:
基于图模型的海量非结构化数据查询语言及其优化实现
- 批准号:61170086
- 项目类别:面上项目
- 资助金额:57.0万元
- 批准年份:2011
- 负责人:钱卫宁
- 依托单位:
支持海量非结构数据可视化分析的存储与索引
- 批准号:61070051
- 项目类别:面上项目
- 资助金额:11.0万元
- 批准年份:2010
- 负责人:钱卫宁
- 依托单位:
国内基金
海外基金
