Sample-Efficient Safety Assurances using Conformal Prediction
Sample-Efficient Safety Assurances using Conformal Prediction
复制标题
使用保形预测实现样本高效的安全保证
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
M. Pavone
中科院分区：
文献类型：
--
作者：
Rachel Luo;Shengjia Zhao;Jonathan Kuck;B. Ivanovic;S. Savarese;E. Schmerling;M. Pavone
在高风险机器人应用中部署机器学习模型时，检测不安全情况的能力至关重要。早期预警系统可以在不安全情况迫在眉睫时（在没有采取纠正措施的情况下）发出警报。为了可靠地提高安全性，这些警告系统应该具有可证明的误报率；也就是说，在不安全的情况中，在没有警报的情况下发生的情况少于 ϵ。在这项工作中，我们提出了一个框架，将称为共形预测的统计推断技术与机器人/环境动力学模拟器相结合，以便调整警告系统，以使用少至 1/ ϵ 的数据点来证明达到 ϵ 假阴性率。我们将我们的框架应用于驾驶员警告系统和机器人抓取应用，并凭经验证明了保证的误报率，同时还观察到较低的误报（阳性）率。
When deploying machine learning models in high-stakes robotics applications, the ability to detect unsafe situations is crucial. Early warning systems can provide alerts when an unsafe situation is imminent (in the absence of corrective action). To reliably improve safety, these warning systems should have a provable false negative rate; that is, of the situations that are unsafe, fewer than ϵ will occur without an alert. In this work, we present a framework that combines a statistical inference technique known as conformal prediction with a simulator of robot/environment dynamics, in order to tune warning systems to provably achieve an ϵ false negative rate using as few as 1/ ϵ data points. We apply our framework to a driver warning system and a robotic grasping application, and empirically demonstrate the guaranteed false negative rate while also observing a low false detection (positive) rate.
DOI：
--
发表时间：
2020-02
期刊：
ArXiv
影响因子：
--
作者：
Juan C. Perdomo;Tijana Zrnic;Celestine Mendler-Dünner;Moritz Hardt
通讯作者：
Juan C. Perdomo;Tijana Zrnic;Celestine Mendler-Dünner;Moritz Hardt
DOI：
10.1214/23-aos2276
发表时间：
2022-02
期刊：
The Annals of Statistics
影响因子：
--
作者：
R. Barber;E. Candès;Aaditya Ramdas;R. Tibshirani
通讯作者：
R. Barber;E. Candès;Aaditya Ramdas;R. Tibshirani
在线多重学习：均值、矩和预测区间
DOI：
--
发表时间：
2022
期刊：
Innovations in Theoretical Computer Science (ITCS
影响因子：
--
作者：
Varun Gupta;Christopher Jung;Georgy Noarov;Mallesh M. Pai;Aaron Roth
通讯作者：
Aaron Roth