Analyzing Information Leakage of Updates to Natural Language Models
Analyzing Information Leakage of Updates to Natural Language Models
复制标题
分析自然语言模型更新的信息泄漏
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Marc Brockschmidt
中科院分区：
文献类型：
--
作者：
Santiago Zanella Béguelin;Lukas Wutschitz;Shruti Tople;Victor Rühle;Andrew J. Paverd;O. Ohrimenko;Boris Köpf;Marc Brockschmidt
为了不断提高质量并反映数据的变化，机器学习应用程序必须定期重新培训和更新其核心模型。我们表明，在更新之前和之后对语言模型快照进行差异分析可以揭示关于训练数据变化的大量详细信息。我们提出了两个新的指标——差分分数和差分等级——用于分析由于自然语言模型更新而导致的泄漏。我们使用这些指标在几个不同数据集上训练的模型上执行泄漏分析，这些模型使用不同的方法和配置。我们讨论了我们的发现对隐私的影响，提出了缓解策略并评估了它们的效果。
To continuously improve quality and reflect changes in data, machine learning applications have to regularly retrain and update their core models. We show that a differential analysis of language model snapshots before and after an update can reveal a surprising amount of detailed information about changes in the training data. We propose two new metrics---differential score and differential rank---for analyzing the leakage due to updates of natural language models. We perform leakage analysis using these metrics across models trained on several different datasets using different methods and configurations. We discuss the privacy implications of our findings, propose mitigation strategies and evaluate their effect.