Predicted Robustness as QoS for Deep Neural Network Models
Predicted Robustness as QoS for Deep Neural Network Models
复制标题
预测的鲁棒性作为深度神经网络模型的 QoS
DOI：
10.1007/s11390-020-0482-6
复制
发表时间：
2020-09
影响因子：
0.7
通讯作者：
Xiao-Xing Ma
中科院分区：
文献类型：
--
作者：
Yue-Huan Wang;Ze-Nan Li;Jing-Wei Xu;Ping Yu;Taolue Chen;Xiao-Xing Ma
深度神经网络（DNN）模型作为现实世界软件系统的组成部分，需要明确考虑其服务质量（QoS）。众所周知，DNN模型容易受到对抗性攻击，因此了解模型的预测对于给定输入实例的鲁棒性至关重要。一个脆弱的预测，即使有很高的信心，是不值得信赖的对抗性攻击的可能性。我们建议DNN模型应该为它们所做的每个预测产生鲁棒性值作为附加的QoS指标，沿着置信度值。现有的鲁棒性计算方法都是基于对抗性搜索的，这种方法通常代价太高，无法在真实的时间内被删除。在本文中，我们建议预测，而不是计算，每个输入实例的鲁棒性措施。具体来说，我们的方法检查目标模型的神经元的输出，并训练另一个DNN模型来预测鲁棒性。在当前的研究中，我们专注于卷积神经网络（CNN）模型。实验结果表明，该方法是准确的，只有10%-34%的额外误差相比，离线的重量级的鲁棒性分析。它也明显优于一些替代方法。我们进一步验证了该方法的有效性，当它被应用到检测对抗性攻击和分布外的输入。我们的方法表现出比最先进技术更好的性能，或者至少与最先进技术相当。
The adoption of deep neural network (DNN) model as the integral part of real-world software systems necessitates explicit consideration of their quality-of-service (QoS). It is well-known that DNN models are prone to adversarial attacks, and thus it is vitally important to be aware of how robust a model’s prediction is for a given input instance. A fragile prediction, even with high confidence, is not trustworthy in light of the possibility of adversarial attacks. We propose that DNN models should produce a robustness value as an additional QoS indicator, along with the confidence value, for each prediction they make. Existing approaches for robustness computation are based on adversarial searching, which are usually too expensive to be excised in real time. In this paper, we propose to predict, rather than to compute, the robustness measure for each input instance. Specifically, our approach inspects the output of the neurons of the target model and trains another DNN model to predict the robustness. We focus on convolutional neural network (CNN) models in the current research. Experiments show that our approach is accurate, with only 10%–34% additional errors compared with the offline heavy-weight robustness analysis. It also significantly outperforms some alternative methods. We further validate the effectiveness of the approach when it is applied to detect adversarial attacks and out-of-distribution input. Our approach demonstrates a better performance than, or at least is comparable to, the state-of-the-art techniques.
登录
查看更多内容
DOI：
--
发表时间：
2018-04
期刊：
ArXiv
影响因子：
--
作者：
Tsui-Wei Weng;Huan Zhang;Hongge Chen;Zhao Song;Cho-Jui Hsieh;D. Boning;I. Dhillon;L. Daniel
通讯作者：
Tsui-Wei Weng;Huan Zhang;Hongge Chen;Zhao Song;Cho-Jui Hsieh;D. Boning;I. Dhillon;L. Daniel
DOI：
--
发表时间：
2018-12
期刊：
ArXiv
影响因子：
--
作者：
Xiaowei Huang;D. Kroening;M. Kwiatkowska;Wenjie Ruan;Youcheng Sun;Emese Thamo;Min Wu;Xinping Yi-Xinpin
通讯作者：
Xiaowei Huang;D. Kroening;M. Kwiatkowska;Wenjie Ruan;Youcheng Sun;Emese Thamo;Min Wu;Xinping Yi-Xinpin
DOI：
10.24963/ijcai.2018/368
发表时间：
2018-05
期刊：
--
影响因子：
--
作者：
Wenjie Ruan;Xiaowei Huang;M. Kwiatkowska
通讯作者：
Wenjie Ruan;Xiaowei Huang;M. Kwiatkowska
DOI：
--
发表时间：
2009
期刊：
--
影响因子：
--
作者：
A. Krizhevsky
通讯作者：
A. Krizhevsky
DOI：
--
发表时间：
2018-02
期刊：
--
影响因子：
--
作者：
Anish Athalye;Nicholas Carlini;D. Wagner
通讯作者：
Anish Athalye;Nicholas Carlini;D. Wagner