Scaling Recurrent Models via Orthogonal Approximations in Tensor Trains.
Scaling Recurrent Models via Orthogonal Approximations in Tensor Trains.
复制标题
DOI：
10.1109/iccv.2019.01067
复制
发表时间：
2019-10
期刊：
影响因子：
--
通讯作者：
Singh V
中科院分区：
文献类型：
--
作者：
Mehta R;Chakraborty R;Xiong Y;Singh V
现代深度网络已被证明对分析真实的世界图像非常有效。然而，它们在医学成像中的应用仍处于早期阶段，主要是由于三维图像的尺寸很大，需要大量的卷积层或全连接层-如果我们将图像（而不是图像块）作为样本。这些问题只有当焦点通过经常性结构朝向3D图像体积的纵向分析移动时，以及当模型参数的点估计在需要可靠性测量的科学应用中不足时，才会变得复杂。利用微分几何的见解，我们调整张量训练分解以构建具有显著更少参数的网络，使我们能够在全脑图像体积序列上训练强大的递归网络。我们描述了“正交”张量训练，并证明了它的能力，表达一个标准的网络层的理论和经验。与标准张量训练分解相比，我们展示了其有效重建全脑体积的能力，具有更快的收敛速度和更强的置信区间。我们提供了代码，并显示使用图像序列的ADNI数据集上的实验回归认知相关的结果。
Modern deep networks have proven to be very effective for analyzing real world images. However, their application in medical imaging is still in its early stages, primarily due to the large size of three-dimensional images, requiring enormous convolutional or fully connected layers – if we treat an image (and not image patches) as a sample. These issues only compound when the focus moves towards longitudinal analysis of 3D image volumes through recurrent structures, and when a point estimate of model parameters is insufficient in scientific applications where a reliability measure is necessary. Using insights from differential geometry, we adapt the tensor train decomposition to construct networks with significantly fewer parameters, allowing us to train powerful recurrent networks on whole brain image volume sequences. We describe the “orthogonal” tensor train, and demonstrate its ability to express a standard network layer both theoretically and empirically. We show its ability to effectively reconstruct whole brain volumes with faster convergence and stronger confidence intervals compared to the standard tensor train decomposition. We provide code and show experiments on the ADNI dataset using image sequences to regress on a cognition related outcome.
登录
查看更多内容
影响因子：
5.4
作者：
Kaneko, Tetsuya;Fiori, Simone;Tanaka, Toshihisa
通讯作者：
Tanaka, Toshihisa
DOI：
10.1137/s0895479895290954
发表时间：
1998-10-20
影响因子：
1.5
作者：
Edelman, A;Arias, TA;Smith, ST
通讯作者：
Smith, ST
影响因子：
3.1
作者：
Oseledets, I. V.
通讯作者：
Oseledets, I. V.
影响因子：
1.7
作者：
Klus, Stefan;Gelss, Patrick;Schuette, Christof
通讯作者：
Schuette, Christof
影响因子：
2.9
作者：
Lubich, Christian;Oseledets, Ivan V.;Vandereycken, Bart
通讯作者：
Vandereycken, Bart