Challenges of Big Data Analysis.
Challenges of Big Data Analysis.
复制标题
DOI：
10.1093/nsr/nwt032
复制
发表时间：
2014-06
影响因子：
20.6
通讯作者：
Liu H
中科院分区：
文献类型：
--
作者：
Fan J;Han F;Liu H
大数据给现代社会带来了新的机遇，也给数据科学家带来了挑战。一方面，大数据在发现细微的群体模式和异质性方面具有巨大潜力，而这是小规模数据无法做到的。另一方面，大数据的庞大样本量和高维度带来了独特的计算和统计挑战，包括可扩展性和存储瓶颈、噪声积累、虚假相关性、内生性偶然情况以及测量误差。这些挑战是有区别的，需要新的计算和统计范式。本文概述了大数据的显著特征，以及这些特征如何影响统计和计算方法以及计算架构的范式转变。我们还提供了关于大数据分析和计算的各种新视角。特别是，我们强调了高置信度集合中最稀疏解的可行性，并指出由于内生性偶然情况，大多数大数据统计方法中的外生性假设无法得到验证。它们可能导致错误的统计推断，进而得出错误的科学结论。
Big Data bring new opportunities to modern society and challenges to data scientists. On one hand, Big Data hold great promises for discovering subtle population patterns and heterogeneities that are not possible with small-scale data. On the other hand, the massive sample size and high dimensionality of Big Data introduce unique computational and statistical challenges, including scalability and storage bottleneck, noise accumulation, spurious correlation, incidental endogeneity, and measurement errors. These challenges are distinguished and require new computational and statistical paradigm. This article gives overviews on the salient features of Big Data and how these features impact on paradigm change on statistical and computational methods as well as computing architectures. We also provide various new perspectives on the Big Data analysis and computation. In particular, we emphasize on the viability of the sparsest solution in high-confidence set and point out that exogeneous assumptions in most statistical methods for Big Data can not be validated due to incidental endogeneity. They can lead to wrong statistical inferences and consequently wrong scientific conclusions.
登录
查看更多内容
影响因子：
3
作者：
HD-200 Consortium
通讯作者：
HD-200 Consortium
影响因子：
6.8
作者：
AKAIKE, H
通讯作者：
AKAIKE, H
DOI：
10.1198/016214501753208942
发表时间：
2001-09-01
影响因子：
3.7
作者：
Antoniadis, A;Fan, JQ
通讯作者：
Fan, JQ
影响因子：
2.1
作者：
Beck, Amir;Teboulle, Marc
通讯作者：
Teboulle, Marc
影响因子：
6.1
作者：
Bai, J
通讯作者：
Bai, J