基于云计算的虚拟天文台关键技术研究

课题是虚拟天文台当前发展的底层存储和计算架构技术的重要组成部分，在2012年到2014年的三年的时间里，项目组通过大量而深入的工作，深入研究了云计算这一新型计算方式，结合当前虚拟天文台天文数据处理的实际情况，针对当前面临的大型海量数据集存储和检索的问题，对流行的各种云计算底层技术进行了大量的分析和比较，重点研究了基于云计算的，以Hadoop为底层的分布式系统，通过实验证明HDFS的文件系统以及MapReduce计算模式在虚拟天文台海量数据管理和计算的可用性，并依此为基础实现了一个海量图像分布式处理平台，该平台已经于2013年应用于中国科学院国家天文台怀柔太阳观测基地的图像存储，解决了原有的扩展性、可管理性等一系列问题，并为后期的在线处理数据、基于IOVA的协议的数据发布提供了较好的基础。其他的研究重点还包括对云计算环境下的分布式存储技术展开研究，特别是分布式数据的快速检索方面，通过对基于字对齐压缩的位图索引方法和传统的Mysql数据库进行性能比较，发现基于字对齐压缩的位图索引方法在海量数据检索性能上有较为明显的优势，并实现了太阳数据的归档系统，该系统已经在云南澄江一米红外太阳塔（NVST）投入使用，解决了NVST观测数据的快速存储和高效检索难题。项目充分利用当前了计算资源，解决虚拟天文台对大规模计算平台与数据存储平台的需要，对推动我国虚拟天文台建设有较好的应用价值。