TopoAct: Visually Exploring the Shape of Activations in Deep Learning
TopoAct: Visually Exploring the Shape of Activations in Deep Learning
复制标题
TopoAct：直观地探索深度学习中激活的形状
DOI：
10.1111/cgf.14195
复制
发表时间：
2021
影响因子：
2.5
通讯作者：
Wang, Bei
中科院分区：
文献类型：
--
作者：
Rathore, Archit;Chalapathi, Nithin;Palande, Sourabh;Wang, Bei
GoogLeNet、ResNet和BERT等深度神经网络在图像和文本分类等任务中取得了令人印象深刻的性能。为了理解这种性能是如何实现的，我们通过研究神经元激活来探测经过训练的深度神经网络，即在网络的各个层响应特定输入的神经元激发组合。有了大量的输入，我们的目标是通过研究神经元的激活来获得神经元检测到什么的全局视图。特别是，我们开发了可视化，显示激活空间的形状，神经元激活背后的组织原则，以及这些激活层内的关系。应用拓扑数据分析工具，我们提出了TopoAct，一个可视化的探索系统，研究激活向量的拓扑摘要。我们目前的探索方案使用TopoAct提供了宝贵的见解学习表示的神经网络。我们期望TopoAct能够提供一个拓扑学的视角，丰富当前神经网络分析的工具箱，并为网络结构诊断和数据异常检测提供基础。
Deep neural networks such as GoogLeNet, ResNet, and BERT have achieved impressive performance in tasks such as image and text classification. To understand how such performance is achieved, we probe a trained deep neural network by studying neuron activations, i.e.combinations of neuron firings, at various layers of the network in response to a particular input. With a large number of inputs, we aim to obtain a global view of what neurons detect by studying their activations. In particular, we develop visualizations that show the shape of the activation space, the organizational principle behind neuron activations, and the relationships of these activations within a layer. Applying tools from topological data analysis, we presentTopoAct, a visual exploration system to study topological summaries of activation vectors. We present exploration scenarios usingTopoActthat provide valuable insights into learned representations of neural networks. We expectTopoActto give a topological perspective that enriches the current toolbox of neural network analysis, and to provide a basis for network architecture diagnosis and data anomaly detection.
登录
查看更多内容
DOI：
10.1109/tvcg.2019.2934802
发表时间：
2017-12
影响因子：
5.2
作者：
Ashley Suh;Mustafa Hajij;Bei Wang;C. Scheidegger;P. Rosen
通讯作者：
Ashley Suh;Mustafa Hajij;Bei Wang;C. Scheidegger;P. Rosen
DOI：
10.1109/pacificvis52677.2021.00021
发表时间：
2020-11
期刊：
2021 IEEE 14th Pacific Visualization Symposium (PacificVis)
影响因子：
--
作者：
Youjia Zhou;N. Chalapathi;Archit Rathore;Yaodong Zhao;Bei Wang
通讯作者：
Youjia Zhou;N. Chalapathi;Archit Rathore;Yaodong Zhao;Bei Wang
影响因子：
5.9
作者：
Mathews, James C.;Nadeem, Saad;Tannenbaum, Allen
通讯作者：
Tannenbaum, Allen
DOI：
10.1109/tvcg.2016.2640960
发表时间：
2017-03-01
影响因子：
5.2
作者：
Liu, Shusen;Maljovec, Dan;Pascucci, Valerio
通讯作者：
Pascucci, Valerio
影响因子：
5.8
作者：
Jeitziner, Rachel;Carriere, Mathieu;Brisken, Cathrin
通讯作者：
Brisken, Cathrin