Interpretable Neuron Structuring with Graph Spectral Regularization.
Interpretable Neuron Structuring with Graph Spectral Regularization.
复制标题
DOI：
10.1007/978-3-030-44584-3_40
复制
发表时间：
2020-04
期刊：
影响因子：
--
通讯作者：
Krishnaswamy S
中科院分区：
文献类型：
--
作者：
Tong A;van Dijk D;Stanley JS 3rd;Amodio M;Yim K;Muhle R;Noonan J;Wolf G;Krishnaswamy S
虽然神经网络是用于将数据分类或嵌入到较低维空间的强大逼近器，但它们通常被视为具有不可解释特征的黑盒子。在这里，我们提出了图谱正则化，使隐藏层更可解释，而不会显著影响主要任务的性能。从生物网络中神经元激活的空间组织和定位中获得灵感，我们使用图拉普拉斯惩罚来构建层内的激活。这种惩罚鼓励在预定图或通过神经网络隐藏层的共同激活从数据中学习的特征空间图上的激活是平滑的。我们展示了这种附加结构的许多用途，包括生物和图像数据集中的聚类指示和可视化。
While neural networks are powerful approximators used to classify or embed data into lower dimensional spaces, they are often regarded as black boxes with uninterpretable features. Here we propose Graph Spectral Regularization for making hidden layers more interpretable without significantly impacting performance on the primary task. Taking inspiration from spatial organization and localization of neuron activations in biological networks, we use a graph Laplacian penalty to structure the activations within a layer. This penalty encourages activations to be smooth either on a predetermined graph or on a feature-space graph learned from the data via co-activations of a hidden layer of the neural network. We show numerous uses for this additional structure including cluster indication and visualization in biological and image data sets.
登录
查看更多内容
影响因子：
46.9
作者：
Setty M;Tadmor MD;Reich-Zeliger S;Angel O;Salame TM;Kathail P;Choi K;Bendall S;Friedman N;Pe'er D
通讯作者：
Pe'er D
影响因子：
--
作者：
Scarselli, Franco;Gori, Marco;Monfardini, Gabriele
通讯作者：
Monfardini, Gabriele
DOI：
10.1007/978-3-540-27819-1_43
发表时间：
2004-01-01
期刊：
LEARNING THEORY, PROCEEDINGS
影响因子：
--
作者：
Belkin, M;Matveeva, I;Niyogi, P
通讯作者：
Niyogi, P
DOI：
10.1109/tnnls.2020.2978386
发表时间：
2021-01-01
影响因子：
10.4
作者：
Wu, Zonghan;Pan, Shirui;Yu, Philip S.
通讯作者：
Yu, Philip S.
影响因子：
2.9
作者：
LeCun, Y.;Boser, B.;Jackel, L. D.
通讯作者：
Jackel, L. D.