课题基金 / 基金详情

基于NoSQL集群数据库的下一代托卡马克实验数据存储技术研究

批准号:
11605068
项目类别:
青年科学基金项目
资助金额:
22.0 万元
负责人:
郑玮
依托单位:
学科分类:
磁约束等离子体
结题年份:
2019
批准年份:
2016
项目状态:
已结题
项目参与者:
丁同海、马少翔、柳强、胡斐然、万宽红、李阳

项目摘要

结项摘要

项目成果

郑玮的其他基金

相似基金

相关文献

中文摘要
随着托卡马克实验向长脉冲发展和高速、高精度的数据采集的应用,托卡马克实验产生的数据量也在高速增长,ITER、CFETR等未来托卡马克装置产生的数据量将是目前装置的上百倍,且会随着装置的发展和持续运行不断增长。这对目前聚变领域现有的存储技术在高性能、高扩展性、高可靠性等方面提出了严峻的挑战,因此非常有必要对托卡马克实验数据存储技术进行前瞻性探索研究。本项目将探索利用新兴的NoSQL集群数据库技术,研究并实现一种容量与性能可方便地横向扩展,具有高并发性能、高可靠性的下一代托卡马克实验数据存储技术。所研究的数据存储技术不依赖任何特定的存储硬件,可大大降低实现成本。本项目有望给出基于NoSQL集群数据库的下一代托卡马克实验数据存储技术方案,为ITER、CFETR等未来托卡马克数据存储系统的研制提供重要参考。
英文摘要
As the tokamak discharge goes towards long pulse and faster digitizers are used in more sophisticated diagnostics, the scientific data generated during the experiment pulse is getting extremely larger. The future tokamaks like ITER and CFETR will produce hundreds times of data than today’s major tokamaks. Through their life, the demands will keep growing. Current available technologies in fusion community are hard to scale and cannot handle big data efficiently, they may barely meet the requirement of future tokamaks. This project attempts to find a solution for large tokamak scientific data archiving by using NoSQL cluster database technology. It will provide a storage and management system that can out performance the current available solutions and easily scale-out its capability, performance at low cost, but relies on no specific hardware technology. This technology will satisfy the continuously growing need for large scientific data storage of the future tokamaks and provide a good reference for future tokamak scientific data storage development.
托卡马克实验数据存储系统存储来自诊断系统的所有科学数据,并提供管理、检索、访问这些数据的方法以实现实验数据分析,是托卡马克实验研究开展必需的系统。随着托卡马克实验向稳态长脉冲发展,以及诊断技术的发展,托卡马克实验产生的科学数据急剧增长。未来托卡马克装置数据存储系统必须具有更高的性能和容量,还需要在不影响实验的情况下方便地对系统的容量和读写性能进行扩展。目前主流的并行文件系统如GlusterFS、Lustre等技术本质上是由Object Storage集群实现,上层封装兼容POSIX文件系统API,对于聚变实验数据这种自身非结构化的数据来说存在额外性能开销。.本项目研究中成功的使用MongoDB与Cassandra NoSQL集群数据库分别实现了两种用于聚变实验存储的系统,在不实现POSIX文件系统API的情况下实现对聚变装置实验数据的存储服务。通过研究和优化测试,我们采用Cassandra集群数据库设计了优化的负载平衡策略,实现聚变实验数据的存储引擎,采用MongoDB实现了结构化的实验数据Metadata存储,并设计了一整套聚变实验数据存储系统原型。.该项目中研发的J-TEXT Cloud Database(JCDB)存储系统集群在数据量增加并且获得了接近线性的增加节点性能提升,在应用于聚变实验诊断数据存储时,性能超过主流的GlusterFS,与ITER计划采用方案BeeGFS与HDF5文件格式性能相当。在此研究成果上,我们实现了J-TEXT破裂数据库系统,实现高效的破裂相关诊断实验数据的存储与检索,为破裂预测研究提供了支持。本项目证明了NoSQL用于聚变实验数据存储的可能性,给出了其实现方案,与现有先进技术进行了对比,为未来聚变装置实验数据存储提供了参考和候选方案。.
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
J-TEXT distributed data storage and management system
J-TEXT分布式数据存储与管理系统
DOI: 10.1016/j.fusengdes.2018.02.058
发表时间: 2018-04
期刊: Fusion Engineering and Design
影响因子: 1.7
作者: [Zheng W, Liu Q, Zhang M, Wan K, Hu F, Yu K]
通讯作者: Yu K
Hybrid neural network for density limit disruption prediction and avoidance on J-TEXT tokamak
用于 J-TEXT 托卡马克密度极限破坏预测和避免的混合神经网络
DOI: 10.1088/1741-4326/aaad17
发表时间: 2018
期刊: Nuclear Fusion
影响因子: 3.3
作者: [Zheng W, Hu F R, Zhang M, Chen Z Y, Zhao X Q, Wang X L, Shi P, Zhang X L, Zhang X Q, Zhou Y N, Wei Y N, Pan Y]
通讯作者: Pan Y
NI P2P powered multi FPGA real-time data processing on tokamak diagnosis systems
NI P2P 支持托卡马克诊断系统上的多 FPGA 实时数据处理
DOI: 10.1016/j.fusengdes.2019.02.114
发表时间: 2019-09
期刊: Fusion Engineering and Design
影响因子: 1.7
作者: [Zheng Wei, Zhao Xueqing, Zhang Ming, Hu Feiran, Zhou Yinan, Xie Fei, Pan Yuan]
通讯作者: Pan Yuan
A new implementation of data process in J-TEXT real-time framework
J-TEXT实时框架中数据处理的一种新实现
DOI: 10.1016/j.fusengdes.2018.02.060
发表时间: 2018-04
期刊: Fusion Engineering and Design
影响因子: 1.7
作者: [Li Y, Zhang M, Zheng W, Zheng G Z, Chen M, Pan Y]
通讯作者: Pan Y
6
    基于物理启发领域泛化的跨装置等离子体破裂预测方法研究
    • 批准号:
      12375219
    • 项目类别:
      面上项目
    • 资助金额:
      53万元
    • 批准年份:
      2023
    • 负责人:
      郑玮
    • 依托单位:
    国内基金
    海外基金