Continual Learning with Differential Privacy
Continual Learning with Differential Privacy
复制标题
具有差异隐私的持续学习
DOI：
10.1007/978-3-030-92310-5_39
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Thai, My T.
中科院分区：
文献类型：
--
作者：
Desai, Pradnya;Lai, Phung;Phan, NhatHai;Thai, My T.
在本文中，我们重点关注在持续学习 (CL) 中保护差分隐私 (DP)，其中我们训练 ML 模型来学习一系列新任务，同时记住以前的任务。我们首先引入连续相邻数据库的概念来限制参与 CL 训练过程的任何数据记录的敏感性。在此基础上，我们开发了一种新的 CL DP 保留算法，采用数据采样策略，通过应用矩会计师来量化著名的平均梯度情景记忆 (A-GEM) 方法中训练数据的隐私风险。我们的算法为 CL 中跨任务的数据记录提供正式的隐私保证。初步的理论分析和评估表明，我们的机制在保持良好的模型效用的同时收紧了隐私损失。
In this paper, we focus on preserving differential privacy (DP) in continual learning (CL), in which we train ML models to learn a sequence of new tasks while memorizing previous tasks. We first introduce a notion of continual adjacent databases to bound the sensitivity of any data record participating in the training process of CL. Based upon that, we develop a new DP-preserving algorithm for CL with a data sampling strategy to quantify the privacy risk of training data in the well-known Averaged Gradient Episodic Memory (A-GEM) approach by applying a moments accountant. Our algorithm provides formal guarantees of privacy for data records across tasks in CL. Preliminary theoretical analysis and evaluations show that our mechanism tightens the privacy loss while maintaining a promising model utility.
登录
查看更多内容
DOI：
--
发表时间：
2019-03
期刊：
--
影响因子：
--
作者：
HaiNhat Phan;M. Thai;Han Hu;R. Jin;Tong Sun;D. Dou
通讯作者：
HaiNhat Phan;M. Thai;Han Hu;R. Jin;Tong Sun;D. Dou
差异化私人终身学习
DOI：
--
发表时间：
2019
期刊：
NeurIPS'19 Workshop
影响因子：
--
作者：
NhatHai Phan, My T.
通讯作者：
NhatHai Phan, My T.
DOI：
--
发表时间：
2019
期刊：
arXiv.org
影响因子：
--
作者：
Sebastian Farquhar;Y. Gal
通讯作者：
Y. Gal
影响因子：
5.4
作者：
RATCLIFF, R
通讯作者：
RATCLIFF, R
差异隐私方法在医疗数据中的应用——案例研究
DOI：
--
发表时间：
2020
期刊：
International Conference on Innovations in Information Technology
影响因子：
--
作者：
M. Zia;M. A. Khan;H. El
通讯作者：
H. El