adaPARL: Adaptive Privacy-Aware Reinforcement Learning for Sequential Decision Making Human-in-the-Loop Systems
adaPARL: Adaptive Privacy-Aware Reinforcement Learning for Sequential Decision Making Human-in-the-Loop Systems
复制标题
adaPARL：用于顺序决策人在环系统的自适应隐私感知强化学习
DOI：
10.1145/3576842.3582325
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Elmalaki, Salma
中科院分区：
文献类型：
--
作者：
Taherisadr, Mojtaba;Stavroulakis, Stelios Andrew;Elmalaki, Salma
与基于规则的方法相比，强化学习(RL)在各种应用中呈现出许多优点。随着在物联网设备中广泛使用经过隐私敏感数据培训的RL，尤其是在人在环路系统中，隐私问题日益受到关注。一方面，RL方法通过尝试适应人类高度动态的本质来增强用户体验。另一方面，训练有素的策略可能会泄露用户的私人信息。最近，人们注意到在设计隐私感知RL算法的同时保持可接受的系统实用程序。在设计隐私感知RL时的一个核心挑战是，人类具有内在的可变性，他们的偏好和行为会进化。一次隐私泄露缓解的效果对于同一个人或不同的人随着时间的推移可能会有所不同。因此，我们不能为隐私感知RL设计一个适用于所有人的固定模型。为此，我们提出了adaPARL，这是一种适用于隐私感知RL的自适应方法，尤其适用于人在环路的物联网系统。AdaPARL根据人类的行为和偏好提供了个性化的隐私效用权衡。我们在两个物联网应用上对所提出的adaPARL进行了验证，即(I)人在环智能家居和(Ii)人在环虚拟现实(VR)智能教室。在这两个应用程序上获得的结果验证了adaPARL的通用性及其提供个性化隐私效用权衡的能力。平均而言，adaPARL通过在减少隐私泄露的同时提高了实用性。
Reinforcement learning (RL) presents numerous benefits compared to rule-based approaches in various applications. Privacy concerns have grown with the widespread use of RL trained with privacy-sensitive data in IoT devices, especially for human-in-the-loop systems. On the one hand, RL methods enhance the user experience by trying to adapt to the highly dynamic nature of humans. On the other hand, trained policies can leak the user’s private information. Recent attention has been drawn to designing privacy-aware RL algorithms while maintaining an acceptable system utility. A central challenge in designing privacy-aware RL, especially for human-in-the-loop systems, is that humans have intrinsic variability, and their preferences and behavior evolve. The effect of one privacy leak mitigation can differ for the same human or across different humans over time. Hence, we can not design one fixed model for privacy-aware RL that fits all. To that end, we propose adaPARL, an adaptive approach for privacy-aware RL, especially for human-in-the-loop IoT systems. adaPARL provides a personalized privacy-utility trade-off depending on human behavior and preference. We validate the proposed adaPARL on two IoT applications, namely (i) Human-in-the-Loop Smart Home and (ii) Human-in-the-Loop Virtual Reality (VR) Smart Classroom. Results obtained on these two applications validate the generality of adaPARL and its ability to provide a personalized privacy-utility trade-off. On average, adaPARL improves the utility by while reducing the privacy leak by on average.
登录
查看更多内容
使用信息隐藏和加密算法确保数据通信安全
DOI：
--
发表时间：
2022
期刊：
International Conference on Adaptive and Intelligent Systems
影响因子：
--
作者：
Shilpi Mishra;Divyapratap Singh;Divyansh Pant;Akash Rawat
通讯作者：
Akash Rawat
组合游戏的复杂性、吸引力和挑战
影响因子：
1.1
作者：
A. Fraenkel
通讯作者：
A. Fraenkel
MAConAuto：移动辅助人在环汽车系统框架
DOI：
10.1109/iv51971.2022.9827415
发表时间：
2022
期刊：
2022 IEEE Intelligent Vehicles Symposium (IV
影响因子：
--
作者：
Elmalaki, Salma
通讯作者：
Elmalaki, Salma
通过线性上下文强盗的洗牌来增强隐私
DOI：
--
发表时间：
2021
期刊：
International Conference on Algorithmic Learning Theory
影响因子：
--
作者：
Evrard Garcelon;Kamalika Chaudhuri;Vianney Perchet;Matteo Pirotta
通讯作者：
Matteo Pirotta
你的行为举止很能说明问题：深度强化学习的隐私泄露攻击
DOI：
--
发表时间：
2019
期刊：
arXiv.org
影响因子：
--
作者：
Xinlei Pan;Weiyao Wang;Xiaoshuai Zhang;Bo Li;Jinfeng Yi;D. Song
通讯作者：
D. Song