Scalable Binary Neural Network applications in Oblivious Inference
Scalable Binary Neural Network applications in Oblivious Inference
复制标题
可扩展的二元神经网络在遗忘推理中的应用
DOI：
10.1145/3607192
复制
发表时间：
2023
影响因子：
2
通讯作者：
Koushanfar, Farinaz
中科院分区：
文献类型：
--
作者：
Zhang, Xinqiao;Samragh, Mohammad;Hussain, Siam;Huang, Ke;Koushanfar, Farinaz
二进制神经网络（BNN）提供了更高的计算强度，并降低了计算的内存/数据要求。可扩展的BNN可以在有限的时间内进行推理，这是由于不同的约束。本文探讨了可扩展BNN在不经意推理中的应用，不经意推理是服务器向不信任客户端提供的一种服务。使用该服务，客户端可以通过服务器保持的训练模型获得关于他/她的数据的推理结果，而无需公开数据或学习模型参数。本文的两个贡献是：（1）我们设计了轻量级的密码协议明确设计，利用BNN的独特特性。(2)我们提出了一个先进的动态探索的运行时精度权衡可扩展的BNN在一个单一的拍摄训练过程。虽然以前的工作训练了具有不同计算复杂度的多个BNN（由于BNN的收敛速度慢，这很麻烦），但我们训练了一个可以在各种计算预算下执行推理的BNN。与CryptFlow 2（非二进制DNN的不经意推理的最先进技术）相比，我们的方法在保持相同准确性的同时，推理速度提高了3倍。与二进制网络的不经意推理中的最先进技术XONN相比，我们实现了2倍到12倍的推理速度，同时获得了更高的准确性。
Binary neural network (BNN) delivers increased compute intensity and reduces memory/data requirements for computation. Scalable BNN enables inference in a limited time due to different constraints. This paper explores the application of Scalable BNN in oblivious inference, a service provided by a server to mistrusting clients. Using this service, a client can obtain the inference result on his/her data by a trained model held by the server without disclosing the data or learning the model parameters. Two contributions of this paper are: (1) we devise lightweight cryptographic protocols explicitly designed to exploit the unique characteristics of BNNs. (2) we present an advanced dynamic exploration of the runtime-accuracy tradeoff of scalable BNNs in a single-shot training process. While previous works trained multiple BNNs with different computational complexities (which is cumbersome due to the slow convergence of BNNs), we train a single BNN that can perform inference under various computational budgets. Compared to CryptFlow2, the state-of-the-art technique in the oblivious inference of non-binary DNNs, our approach reaches 3× faster inference while keeping the same accuracy. Compared to XONN, the state-of-the-art technique in the oblivious inference of binary networks, we achieve 2× to 12× faster inference while obtaining higher accuracy.
登录
查看更多内容
HIPAA 隐私规则
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
R. Herold;Kevin M. Beaver
通讯作者：
Kevin M. Beaver
DOI：
10.1109/eurosp.2016.20
发表时间：
2016-03
期刊：
2016 IEEE European Symposium on Security and Privacy (EuroS&P)
影响因子：
--
作者：
Benjamin Mood;Debayan Gupta;Henry Carter;Kevin R. B. Butler;Patrick Traynor
通讯作者：
Benjamin Mood;Debayan Gupta;Henry Carter;Kevin R. B. Butler;Patrick Traynor
DOI：
--
发表时间：
2020-06
期刊：
ArXiv
影响因子：
--
作者：
Qian Lou;B. Song;Lei Jiang
通讯作者：
Qian Lou;B. Song;Lei Jiang
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
Sophia Yakoubov
通讯作者：
Sophia Yakoubov