Enhancing HDFS with a full-text search system for massive small files
Enhancing HDFS with a full-text search system for massive small files
复制标题
通过针对海量小文件的全文搜索系统增强 HDFS
DOI：
10.1007/s11227-020-03526-1
复制
发表时间：
2021-01
期刊：
影响因子：
--
通讯作者：
Ge Nong
中科院分区：
文献类型：
--
作者：
Wentao Xu;Xin Zhao;Bin Lao;Ge Nong
HDFS是一个流行的开源系统，用于可扩展和可靠的文件管理，它被设计为分布式文件存储的通用解决方案。虽然它可以很好地处理中型或大型文件，但在处理大量小文件的情况下，它将遭受严重的性能下降。为了克服这个缺点，我们提出了一个系统来增强HDFS与分布式真正的全文搜索系统SAES的100%查全率和准确率。通过索引每个文件的元数据，例如名称、大小、日期和描述，可以通过对元数据的有效搜索来快速访问文件。此外，通过将许多小文件合并成一个大文件以获得更好的空间和I/O效率来存储，可以避免直接单独存储每个小文件所带来的负面性能影响。对实际数据和人工数据进行了功能和性能测试的实验研究。实验结果表明，该系统能够很好地完成文件的上传、下载和删除等操作。此外，用于管理大量小文件的RAM消耗大大减少，这对于良好的系统性能至关重要。所提出的系统可能是海量小文件的潜在存储解决方案。
HDFS is a popular open-source system for scalable and reliable file management, which is designed as a general-purpose solution for distributed file storage. While it works well for medium or large files, it will suffer heavy performance degradations in case of lots of small files. To overcome this drawback, we propose here a system to enhance HDFS with a distributed true full-text search system SAES of 100% recall and precision ratios. By indexing the meta data of each file, e.g., name, size, date and description, files can be quickly accessed by efficient searches over metadata. Moreover, by merging many small files into a large file to be stored with better space and I/O efficiencies, the negative performance impacts caused by directly storing each small file individually are avoided. An experimental study is conducted for function and performance tests on both realistic and artificial data. The experimental results show that the system works well for file operations such as uploading, downloading and deleting. Moreover, the RAM consumption for managing massive small files is dramatically reduced, which is critical for good system performance. The proposed system could be a potential storage solution for massive small files.
登录
查看更多内容
DOI：
--
发表时间：
2014
期刊：
--
影响因子：
--
作者：
Priyanka G. Phakade;Dr. Suhas Raut
通讯作者：
Priyanka G. Phakade;Dr. Suhas Raut
DOI：
10.1109/hpcc.2012.149
发表时间：
2012-06
期刊：
2012 IEEE 14th International Conference on High Performance Computing and Communication & 2012 IEEE 9th International Conference on Embedded Software and Systems
影响因子：
--
作者：
A. Chandrasekar;K. Chandrasekar;Harini Ramasatagopan;R. A. Rahim;J. Balasubramaniyan
通讯作者：
A. Chandrasekar;K. Chandrasekar;Harini Ramasatagopan;R. A. Rahim;J. Balasubramaniyan
DOI：
10.1109/escience.2017.39
发表时间：
2017-10
期刊：
2017 IEEE 13th International Conference on e-Science (e-Science)
影响因子：
--
作者：
Hwajung Kim;H. Yeom
通讯作者：
Hwajung Kim;H. Yeom
DOI：
10.1016/j.jpdc.2021.05.011
发表时间：
2019-03
期刊：
J. Parallel Distributed Comput.
影响因子：
--
作者：
Jude Tchaye-Kondi;Yanlong Zhai;Kwei-Jay Lin;Wenjun Tao;Kai Yang
通讯作者：
Jude Tchaye-Kondi;Yanlong Zhai;Kwei-Jay Lin;Wenjun Tao;Kai Yang
DOI：
10.1109/csss.2012.556
发表时间：
2012-08
期刊：
2012 International Conference on Computer Science and Service System
影响因子：
--
作者：
Yang Zhang;Dan Liu
通讯作者：
Yang Zhang;Dan Liu