Robust change detection for large-scale data streams
Robust change detection for large-scale data streams
复制标题
大规模数据流的稳健变化检测
DOI：
10.1080/07474946.2022.2043045
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Shi, Jianjun
中科院分区：
文献类型：
--
作者：
Zhang, Ruizhi;Mei, Yajun;Shi, Jianjun
大规模数据流的鲁棒变点检测在工业质量控制、信号检测和生物监测中有许多实际应用。不幸的是，由于三个挑战，开发有效的方案是非常重要的：（1）受影响的数据流的未知稀疏子集，（2）意外的离群值，以及（3）实时监控和检测的计算可扩展性。在这篇文章中，我们开发了一个家庭的有效的实时鲁棒检测计划监测大规模的独立数据流。对于每个数据流，我们建议构建一个新的本地鲁棒的检测统计称为的累积和（cumulative sum）统计，可以减少离群值的影响，通过使用Box-Cox变换的似然函数。然后，全局方案将基于这些局部-CANUM统计的收缩变换的总和来发出警报，以过滤掉未受影响的数据流。此外，我们提出了一个新的概念，称为虚警击穿点来衡量在线监测方案的鲁棒性，并提出了一个最坏情况下的检测效率得分来衡量数据中包含离群值时的检测效率.然后，我们的故障点和我们提出的计划的效率得分的特点。渐近分析和数值模拟表明，我们提出的方案的鲁棒性和效率。
Robust change point detection for large-scale data streams has many real-world applications in industrial quality control, signal detection, and biosurveillance. Unfortunately, it is highly nontrivial to develop efficient schemes due to three challenges: (1) the unknown sparse subset of affected data streams, (2) the unexpected outliers, and (3) computational scalability for real-time monitoring and detection. In this article, we develop a family of efficient real-time robust detection schemes for monitoring large-scale independent data streams. For each data stream, we propose to construct a new local robust detection statistic called the-CUSUM (cumulative sum) statistic that can reduce the effect of outliers by using the Box-Cox transformation of the likelihood function. Then the global scheme will raise an alarm based upon the sum of the shrinkage transformation of these local-CUSUM statistics to filter out unaffected data streams. In addition, we propose a new concept calledfalse alarm breakdown pointto measure the robustness of online monitoring schemes and propose aworst-case detection efficiency scoreto measure the detection efficiency when the data contain outliers. We then characterize the breakdown point and the efficiency score of our proposed schemes. Asymptotic analysis and numerical simulations are conducted to illustrate the robustness and efficiency of our proposed schemes.
登录
查看更多内容
DOI：
10.1016/b978-0-12-386908-1.00037-9
发表时间：
2018-11
期刊：
Wiley Series in Probability and Statistics
影响因子：
--
作者：
Bruce E. Blaine
通讯作者：
Bruce E. Blaine
Minimax 稳健最快变化检测
影响因子：
2.5
作者：
Jayakrishnan Unnikrishnan;V. Veeravalli;Sean P. Meyn
通讯作者：
Sean P. Meyn
DOI：
10.1109/tase.2014.2327029
发表时间：
2015-01-01
影响因子：
5.6
作者：
Yan, Hao;Paynabar, Kamran;Shi, Jianjun
通讯作者：
Shi, Jianjun
用于检测分布变化的有效序列非参数方案
DOI：
--
发表时间：
1994
期刊：
影响因子：
--
作者：
L. Gordon;M. Pollak
通讯作者：
M. Pollak
用于分布式监控大规模数据流的可扩展 SUM 收缩方案
DOI：
10.5705/ss.202015.0316
发表时间：
2016
期刊：
arXiv: Methodology
影响因子：
--
作者：
Kun Liu;Ruizhi Zhang;Y. Mei
通讯作者：
Y. Mei