Exploring robust architectures for deep artificial neural networks
Exploring robust architectures for deep artificial neural networks
复制标题
探索深度人工神经网络的稳健架构
DOI：
10.1038/s44172-022-00043-2
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Rasool, Ghulam
中科院分区：
文献类型：
--
作者：
Waqas, Asim;Farooq, Hamza;Bouaynaya, Nidhal C.;Rasool, Ghulam
深度人工神经网络（DANN）的架构经常被研究，以提高其预测性能。然而，DANN的架构与其对噪声和对抗性攻击的鲁棒性之间的关系很少被探索，特别是在计算机视觉应用中。在这里，我们研究了DANN在视觉任务中的鲁棒性与其底层图形架构或结构之间的关系。首先，我们使用图论鲁棒性措施探索了DANN架构的设计空间，并使用各种图像分类任务将图转换为DANN架构。然后，我们探索了训练的DANN对噪声和对抗性攻击的鲁棒性与其底层架构之间的关系。我们证明了DANN的鲁棒性性能可以在训练之前使用拓扑熵和Olivier-Ricci曲率等图结构属性进行量化，对于复杂任务和大型DANN具有最大的可靠性。我们的研究结果也可以应用于计算机视觉以外的任务，如自然语言处理和推荐系统。
The architectures of deep artificial neural networks (DANNs) are routinely studied to improve their predictive performance. However, the relationship between the architecture of a DANN and its robustness to noise and adversarial attacks is less explored, especially in computer vision applications. Here we investigate the relationship between the robustness of DANNs in a vision task and their underlying graph architectures or structures. First we explored the design space of architectures of DANNs using graph-theoretic robustness measures and transformed the graphs to DANN architectures using various image classification tasks. Then we explored the relationship between the robustness of trained DANNs against noise and adversarial attacks and their underlying architectures. We show that robustness performance of DANNs can be quantified before training using graph structural properties such as topological entropy and Olivier-Ricci curvature, with the greatest reliability for complex tasks and large DANNs. Our results can also be applied for tasks other than computer vision such as natural language processing and recommender systems.
登录
查看更多内容
影响因子：
4.6
作者：
Xiao X;Chen H;Bogdan P
通讯作者：
Bogdan P
影响因子：
--
作者：
Ahmed, Sabeen;Dera, Dimah;Hassan, Saud Ul;Bouaynaya, Nidhal;Rasool, Ghulam
通讯作者：
Rasool, Ghulam
DOI：
10.1145/3394885.3431594
发表时间：
2021-01
期刊：
2021 26th Asia and South Pacific Design Automation Conference (ASP-DAC)
影响因子：
--
作者：
N. Khoshavi;S. Sargolzaei;Yu Bi;A. Roohi
通讯作者：
N. Khoshavi;S. Sargolzaei;Yu Bi;A. Roohi
影响因子：
13.6
作者：
Sandhu RS;Georgiou TT;Tannenbaum AR
通讯作者：
Tannenbaum AR
DOI：
--
发表时间：
2022
期刊：
Physica A: Statistical Mechanics and its Applications
影响因子：
--
作者：
L. Demetrius;C. Wolf
通讯作者：
C. Wolf