课题基金 / 基金详情

面向大视场时域巡天观测的大数据检索与融合方法研究

批准号:
U1931132
项目类别:
联合基金项目
资助金额:
50.0 万元
负责人:
樊东卫
学科分类:
数据、计算和信息提取等应用基础性研究
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
许允飞、韩军、陶一寒、徐洋、米琳莹、和兰

项目摘要

结项摘要

项目成果

樊东卫的其他基金

相似基金

相关文献

中文摘要
暂现源巡天观测设备曝光时间短、覆盖天区广,可以快速发现天空中出现的变化。为了支撑暂现源的检测,需要在大规模星表中进行快速检索以取得所有目标的属性,以发现正在变化的目标,发出预警信息。整个数据处理流程需要在一个曝光周期内完成,以避免影响下一周期的曝光。但是当前积累的星表动辄超十亿行规模,在GWAC一次曝光高达700平方度或LIGO数百平方度的超大天区中进行大数据快速检索、过滤与导出异常困难。而为了了解目标的更多物理特性,还需要通过融合多个波段的数据,取得目标的能谱分布。但当前的星表交叉证认主要解决的是二表交叉证认问题,对于如何扩展到多表交叉证认仍面临较大困难。本课题将对大规模多波段星表的多表交叉证认方法进行探索,并在局域网分布式架构下对超大天区内的大规模星表快速检索方法进行研究。本课题的研究成果也有助于引力波电磁对应体搜寻及未来EP、司天等大视场设备解决其在暂现源探测中遇到的大数据应用难题。
英文摘要
Transient sky survey telescopes cover very wide sky area and expose in a short time, which can quickly detect changes in the sky. To support the detection of transient sources, it is necessary to perform a quick search in the large-scale astronomical catalog to obtain the properties of all targets to discover the variable objects and issue transient event. The entire data processing needs to be completed in one exposure cycle to avoid affecting next cycle. However, the catalogs are growing fast to exceed billions of rows, and it is extremely difficult to query, filter and export big data in a large sky area such as GWAC with an exposure of more than 700 square degrees or LIGO with several hundreds of square degrees. Further, to understand more physical characteristics of the targets, data fusion on multi-wavelength catalogs is needed to applied. Current cross-matching methods mainly focus on quick matching between two catalogues, how to cross-match multi-catalog still faces great difficulties. This project will explore the multi-wavelength cross-matching method, and study the large-scale catalog fast retrieval in super-large sky area under intranet distributed architecture. The research result might benefit the search for electromagnetic counterpart of gravitational wave. It also will help future wide-field instruments, e.g. EP, Sitian, et al., to solve the big data application problems encounter in transient source detection.
大视场暂现源巡天观测设备曝光时间短、覆盖天区广、观测目标众多。在处理其观测数据时,为了支撑暂现源的实时发现,需要在大规模星表中进行快速检索以取得所有目标的属性,发现正在变化的目标,发出预警信息。本项目针对此需求实现了对大规模星表数据的高效检索与交叉证认方法。为了解决大规模星表在单机节点速度受限的问题,项目组尝试使用了多个计算节点组成的分布式系统进行了优化。为了能够将星表尽量均匀地分发到各个节点、平衡节点负载,项目组使用了文件作为星表的存储载体。在充分研究天文星表的特点后,提出了基于HEALPix的多层级自适应密度星表划分算法。经过实际测试,该算法相较于已有的算法能够实现更均匀的切分。项目组还基于开源序列化框架,设计了一套适合天文星表的序列化方法,提升了天文星表数据在存储和网络传输时的效率。在此基础上,项目组使用了容器的方式对程序进行了封装了,极大降低了系统应用部署难度。当前,本项目的研究成果已经在GWAC望远镜的数据处理中得到实际应用,未来还将针对应用中发现的问题进行进一步优化、改进,以应用到更多时域观测项目中。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI: --
发表时间: 2022
期刊: 中国科技资源导刊
影响因子: --
作者: [李珊珊, 樊东卫, 崔辰州, 何勃亮, 陶一寒, 霍志英, 米琳莹, 罗阿理, 陈建军, 侯文, 孔啸, 李荫碧, 郭炎鑫, 李双, 李长华, 许允飞, 韩军, 杨丝丝, 杨函溪, 赵永恒]
通讯作者: 赵永恒
DOI: 10.3969/j.issn.1000-8349.2020.02.04
发表时间: 2020
期刊: 天文学进展
影响因子: --
作者: [陶一寒, 崔辰州, 张彦霞, 许允飞, 樊东卫, 等]
通讯作者:
AN EXTENSIBLE FRAMEWORK FOR OBSERVATORY SYSTEM BASED ON DOCKER CLOUD
基于Docker云的可扩展观测系统框架
DOI: 10.22201/ia.14052059p.2021.53.16
发表时间: 2021-09
期刊: RMxAC
影响因子: --
作者: [Jun Han, Chenzhou Cui, Dongwei Fan, Yunfei Xu, Changhua Li, Shanshan Li, Linying Mi]
通讯作者: Linying Mi
DOI: 10.1088/1538-3873/ab7a73
发表时间: 2020-02
期刊: Publications of the Astronomical Society of the Pacific
影响因子: 3.5
作者: [Xu Y., Xin L. P., Wang J., Han X. H., Qin Y. L., Huang M. H., Wei J. Y.]
通讯作者: Wei J. Y.
11
    LAMOST数据与异构科研数据融合方法研究
    • 批准号:
      --
    • 项目类别:
      面上项目
    • 资助金额:
      55万元
    • 批准年份:
      2022
    • 负责人:
      樊东卫
    • 依托单位:
    射电星表与多波段数据自动化证认方法研究
    • 批准号:
      11503051
    • 项目类别:
      青年科学基金项目
    • 资助金额:
      23.0万元
    • 批准年份:
      2015
    • 负责人:
      樊东卫
    • 依托单位:
    国内基金
    海外基金