An improved distributed storage model of remote sensing images based on the HDFS and pyramid structure
An improved distributed storage model of remote sensing images based on the HDFS and pyramid structure
复制标题
基于HDFS和金字塔结构的改进遥感影像分布式存储模型
DOI：
10.1504/ijcat.2019.098037
复制
发表时间：
2019-03
影响因子：
1.1
通讯作者：
Nihong Wang
中科院分区：
文献类型：
--
作者：
Linhui Li;Weipeng Jing;Nihong Wang
随着遥感数据量的快速增长，数据管理需要采用新的架构。在某些领域进行了一些改进。例如，Hadoop 分布式文件系统（HDFS）可用于大文件。然而，在基于金字塔的结构中存储遥感图像时会产生小文件。在本文中，我们提出了一种基于带有MapFile的Hadoop系统的方法。该方法是一种改进的存储模型，可实现高效存储，并允许访问 HDFS 上的小文件。所提出的方法将小文件合并到MapFile序列化容器中，并减少了小文件的数量。元数据传感器信息存储在索引中以提高搜索速度。结果证明了使用金字塔模型进行遥感图像处理的效率以及与 HDFS、HDWebGIS 和 Hadoop 档案相比减少的执行时间。
With the rapidly growing amount of remote sensing data, data management needs to adopt a new architecture. Some improvements have been made in some areas. For example, the Hadoop distributed file system (HDFS) can be utilised for large files. However, small files will be produced when storing remote sensing images in the pyramid-based structure. In this paper, we propose a method based on the Hadoop system with MapFile. The method is an improved storage model for efficient storage and allows for access of the small files on the HDFS. The proposed method combines small files into the MapFile serialised container, and it reduces the number of small files. The metadata sensor information is stored in the index to improve the search speed. Results demonstrate the efficiency of remote sensing image processing using the pyramid model and the reduced execution time compared with the HDFS, HDWebGIS and Hadoop archives.
登录
查看更多内容
DOI：
10.1109/csss.2012.556
发表时间：
2012-08
期刊：
2012 International Conference on Computer Science and Service System
影响因子：
--
作者：
Yang Zhang;Dan Liu
通讯作者：
Yang Zhang;Dan Liu
DOI：
10.1109/icccbda.2017.7951882
发表时间：
2017-04
期刊：
2017 IEEE 2nd International Conference on Cloud Computing and Big Data Analysis (ICCCBDA)
影响因子：
--
作者：
Wenjuan Cheng;Miaomiao Zhou;Bing Tong;Junhong Zhu
通讯作者：
Wenjuan Cheng;Miaomiao Zhou;Bing Tong;Junhong Zhu
DOI：
10.1109/iccci.2013.6466147
发表时间：
2013-02
期刊：
2013 International Conference on Computer Communication and Informatics
影响因子：
--
作者：
S. Chandrasekar;R. Dakshinamurthy;P G Seshakumar;B. Prabavathy;C. Babu
通讯作者：
S. Chandrasekar;R. Dakshinamurthy;P G Seshakumar;B. Prabavathy;C. Babu
DOI：
10.1109/igarss.2016.7730544
发表时间：
2016-07
期刊：
2016 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)
影响因子：
--
作者：
Fengyang Wang;Xuezhi Wang;Wenjuan Cui;Xiao Xiao-Xiao;Yuanchun Zhou;Jianhui Li
通讯作者：
Fengyang Wang;Xuezhi Wang;Wenjuan Cui;Xiao Xiao-Xiao;Yuanchun Zhou;Jianhui Li
DOI：
10.1109/ipdps.2009.5161029
发表时间：
2009-05
期刊：
2009 IEEE International Symposium on Parallel & Distributed Processing
影响因子：
--
作者：
P. Carns;S. Lang;R. Ross;M. Vilayannur;J. Kunkel;T. Ludwig
通讯作者：
P. Carns;S. Lang;R. Ross;M. Vilayannur;J. Kunkel;T. Ludwig