Data Leakage in Notebooks: Static Detection and Better Processes
Data Leakage in Notebooks: Static Detection and Better Processes
复制标题
笔记本电脑中的数据泄漏：静态检测和更好的流程
DOI：
10.1145/3551349.3556918
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Kaestner, Christian
中科院分区：
文献类型：
--
作者：
Yang, Chenyang;Brower-Sinning, Rachel A;Lewis, Grace;Kaestner, Christian
用机器学习训练和评估模型的数据科学管道可能像任何其他代码一样包含错误。训练和测试数据之间的泄漏可能导致离线评估期间高估模型的准确性，可能导致在生产中部署低质量的模型。这种泄漏很容易因错误或遵循不良实践而发生，但手动检测可能是乏味且具有挑战性的。我们开发了一种静态分析方法来检测数据科学代码中常见的数据泄漏形式。我们的评估表明，我们的分析准确地检测到数据泄露，并且在分析的10多万台公共笔记本中，这种泄漏是普遍存在的。我们将讨论我们的静态分析方法如何帮助从业者和教育者，以及如何将泄漏预防设计到开发过程中。
Data science pipelines to train and evaluate models with machine learning may contain bugs just like any other code. Leakage between training and test data can lead to overestimating the model’s accuracy during offline evaluations, possibly leading to deployment of low-quality models in production. Such leakage can happen easily by mistake or by following poor practices, but may be tedious and challenging to detect manually. We develop a static analysis approach to detect common forms of data leakage in data science code. Our evaluation shows that our analysis accurately detects data leakage and that such leakage is pervasive among over 100,000 analyzed public notebooks. We discuss how our static analysis approach can help both practitioners and educators, and how leakage prevention can be designed into the development process.
登录
查看更多内容
轻松持续集成机器学习模型.ml/ci：迈向严格而实用的治疗
DOI：
--
发表时间：
2019
期刊：
USENIX workshop on Tackling computer systems problems with machine learning techniques
影响因子：
--
作者：
Cédric Renggli;Bojan Karlas;Bolin Ding;Feng Liu;K. Schawinski;Wentao Wu;Ce Zhang
通讯作者：
Ce Zhang
DOI：
10.1109/ase51524.2021.9678520
发表时间：
2021-11
期刊：
2021 36th IEEE/ACM International Conference on Automated Software Engineering (ASE)
影响因子：
--
作者：
Chenyang Yang;Shurui Zhou;Jin L. C. Guo;Christian Kästner
通讯作者：
Chenyang Yang;Shurui Zhou;Jin L. C. Guo;Christian Kästner
指针分析
DOI：
--
发表时间：
2015
期刊：
Found. Trends Program. Lang.
影响因子：
--
作者：
Y. Smaragdakis;G. Balatsouras
通讯作者：
G. Balatsouras
Jupyter Notebook 中的代码复制和重用
DOI：
--
发表时间：
2020
期刊：
IEEE Symposium on Visual Languages / Human-Centric Computing Languages and Environments
影响因子：
--
作者：
Andreas Koenzen;Neil A. Ernst;M. Storey
通讯作者：
M. Storey
更好的代码，更好的共享：关于分析 Jupyter Notebook 的需要
DOI：
10.1145/3377816.3381724
发表时间：
2019
期刊：
2020 IEEE/ACM 42nd International Conference on Software Engineering: New Ideas and Emerging Results (ICSE-NIER)
影响因子：
--
作者：
Jiawei Wang;Li Li;A. Zeller
通讯作者：
A. Zeller