Efficient Document Analytics on Compressed Data: Method, Challenges, Algorithms, Insights
Efficient Document Analytics on Compressed Data: Method, Challenges, Algorithms, Insights
复制标题
压缩数据的高效文档分析：方法、挑战、算法、见解
DOI：
10.14778/3236187.3236203
复制
发表时间：
2018-07
影响因子：
2.5
通讯作者：
Chen Wenguang
中科院分区：
文献类型：
--
作者：
Zhang Feng;Zhai Jidong;Shen Xipeng;Mutlu Onur;Chen Wenguang
当今快速增长的文档量在空间使用和处理时间方面对现代文档分析提出了紧迫的挑战。在这项工作中，我们提出了基于压缩的直接处理的概念，以减轻这两个方面的问题。其主要思想是对压缩数据进行直接文档分析。我们提出了如何可以实现的概念Sequitur，一种压缩算法，产生分层语法表示。我们讨论了将这个想法应用于各种文档分析任务的主要挑战，并为开发人员提供了一套指导方针和辅助软件模块，以有效地应用基于压缩的直接处理。实验表明，我们提出的技术节省了90.8%的存储空间和77.5%的内存使用，同时大大加快了数据处理，即，在顺序系统上是1.6倍，在分布式集群上是2.2倍。
Today's rapidly growing document volumes pose pressing challenges to modern document analytics, in both space usage and processing time. In this work, we propose the concept of compression-based direct processing to alleviate issues in both dimensions. The main idea is to enable direct document analytics on compressed data. We present how the concept can be materialized on Sequitur, a compression algorithm that produces hierarchical grammar-like representations. We discuss the major challenges in applying the idea to various document analytics tasks, and reveal a set of guidelines and also assistant software modules for developers to effectively apply compression-based direct processing. Experiments show that our proposed techniques save 90.8% storage space and 77.5% memory usage, while speeding up data processing significantly, i.e., by 1.6X on sequential systems, and 2.2X on distributed clusters, on average.
登录
查看更多内容
DOI：
10.1145/1066677.1066827
发表时间：
2005-03
期刊：
Journal of Physics: Conference Series
影响因子：
--
作者：
Yongjing Lin;Youtao Zhang;Quanzhong Li;Jun Yang
通讯作者：
Yongjing Lin;Youtao Zhang;Quanzhong Li;Jun Yang
DOI：
10.1063/1.4992846
发表时间：
2017-08
期刊：
--
影响因子：
--
作者：
Qing-Qiu Cai;Hong Cui;Hao Tang
通讯作者：
Qing-Qiu Cai;Hong Cui;Hao Tang
DOI：
10.1145/1526709.1526764
发表时间：
2009-04
期刊：
--
影响因子：
--
作者：
Hao Yan;Shuai Ding;Torsten Suel
通讯作者：
Hao Yan;Shuai Ding;Torsten Suel
DOI：
--
发表时间：
2007
期刊：
--
影响因子：
--
作者：
J. Pennebaker;R. Booth;Martha E. Francis
通讯作者：
J. Pennebaker;R. Booth;Martha E. Francis
DOI：
10.1145/2806416.2806424
发表时间：
2015-10
期刊：
Proceedings of the 24th ACM International on Conference on Information and Knowledge Management
影响因子：
--
作者：
F. Petroni;Leonardo Querzoni;Khuzaima S. Daudjee;Shahin Kamali;Giorgio Iacoboni
通讯作者：
F. Petroni;Leonardo Querzoni;Khuzaima S. Daudjee;Shahin Kamali;Giorgio Iacoboni