Massively parallel data analysis with PACTs on Nephele
Massively parallel data analysis with PACTs on Nephele
复制标题
DOI：
10.14778/1920841.1921056
复制
发表时间：
2010-09
影响因子：
2.5
通讯作者：
Alexander B. Alexandrov;Dominic Battré;Stephan Ewen;Max Heimel;Fabian Hueske;O. Kao;V. Markl;Erik Nijkamp;Daniel Warneke
中科院分区：
文献类型：
--
作者：
Alexander B. Alexandrov;Dominic Battré;Stephan Ewen;Max Heimel;Fabian Hueske;O. Kao;V. Markl;Erik Nijkamp;Daniel Warneke
大规模数据分析应用程序需要处理和分析TB甚至PB级的数据，特别是在Web分析或科学数据管理领域。在2009年VLDB的一个小组讨论中，这一趋势被称为“网络规模的数据管理”。以前，并行数据处理是并行数据库系统的领域。今天，新的需求，如扩展到数千台机器，改进的容错和无模式处理，为新方法提供了理由。
Large-scale data analysis applications require processing and analyzing of Terabytes or even Petabytes of data, particularly in the areas of web analysis or scientific data management. This trend has been discussed as "web-scale data management" in a panel at VLDB 2009. Formerly, parallel data processing was the domain of parallel database systems. Today, novel requirements like scaling out to thousands of machines, improved fault-tolerance, and schema free processing have made a case for new approaches.