Online Updating of Statistical Inference in the Big Data Setting.
Online Updating of Statistical Inference in the Big Data Setting.
复制标题
DOI：
10.1080/00401706.2016.1142900
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
Chen MH
中科院分区：
文献类型：
--
作者：
Schifano ED;Wu J;Wang C;Yan J;Chen MH
我们提出了在线分析处理中产生的大数据的统计方法，其中大量数据以流的形式到达，需要快速分析，而无需存储/访问历史数据。特别是，我们开发迭代估计算法和线性模型的统计推断和估计方程，更新新的数据到达。这些算法计算效率高，存储密集度最低，并允许由于罕见事件协变量的子集设计矩阵中可能的秩不足。在线性模型设置，建议的在线更新框架导致预测残差检验，可用于评估拟合优度的假设模型。在估计方程的设定下，我们还提出了一种新的在线更新估计量。拟合优度检验和建议的估计量的理论特性进行了详细研究。在模拟研究和真实的数据应用中，我们的估计与竞争的方法相比，估计方程设置。
We present statistical methods for big data arising from online analytical processing, where large amounts of data arrive in streams and require fast analysis without storage/access to the historical data. In particular, we develop iterative estimating algorithms and statistical inferences for linear models and estimating equations that update as new data arrive. These algorithms are computationally efficient, minimally storage-intensive, and allow for possible rank deficiencies in the subset design matrices due to rare-event covariates. Within the linear model setting, the proposed online-updating framework leads to predictive residual tests that can be used to assess the goodness-of-fit of the hypothesized model. We also propose a new online-updating estimator under the estimating equation setting. Theoretical properties of the goodness-of-fit tests and proposed estimators are examined in detail. In simulation studies and real data applications, our estimator compares favorably with competing approaches under the estimating equation setting.
登录
查看更多内容
影响因子：
1.7
作者：
Guha, Saptarshi;Hafen, Ryan;Cleveland, William S.
通讯作者：
Cleveland, William S.
DOI：
10.1111/j.2517-6161.1995.tb02031.x
发表时间：
1995-01-01
影响因子：
5.8
作者：
BENJAMINI, Y;HOCHBERG, Y
通讯作者：
HOCHBERG, Y
DOI：
10.1111/rssb.12050
发表时间：
2014-09-01
影响因子：
5.8
作者：
Kleiner, Ariel;Talwalkar, Ameet;Jordan, Michael I.
通讯作者：
Jordan, Michael I.
影响因子：
1.4
作者：
Chen, Xueying;Xie, Min-ge
通讯作者：
Xie, Min-ge
DOI：
10.1080/01621459.2012.746061
发表时间：
2013-03-01
影响因子：
3.7
作者：
Liang, Faming;Cheng, Yi Hen;Yang, Ping
通讯作者：
Yang, Ping