NSVD: Normalized Singular Value Deviation Reveals Number of Latent Factors in Tensor Decomposition
NSVD: Normalized Singular Value Deviation Reveals Number of Latent Factors in Tensor Decomposition
复制标题
NSVD：归一化奇异值偏差揭示张量分解中潜在因子的数量
DOI：
10.1137/1.9781611976236.75
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Papalexakis, Evangelos E.
中科院分区：
文献类型：
--
作者：
Tsitsikas, Yorgos;Papalexakis, Evangelos E.
张量分解一次又一次地被证明是多方面数据挖掘中的一种有效工具，特别是在探索性应用中，人们感兴趣的是从数据中发现隐藏的可解释结构。在这种探索性应用中，这种隐藏结构的数量是极其重要的，因为不正确的选择可能意味着发现了不真正代表有意义的模式的噪声伪影。虽然非常重要，但选择这一数量的潜在因素(也称为低级别)非常困难，在大多数情况下，从业者和研究人员诉诸于蟾蜍反复试验或假设这个数字不知何故是已知的或通过领域专业知识给出的。已经有相当多的先前工作提出了选择该低等级的启发式方法。然而，正如我们在本文中所讨论的那样，这些启发式方法中的艺术状态相当不稳定，并且并不总是揭示正确的答案。在本文中，我们提出了一种基于原则性理论基础的选择张量分解中潜在因子个数的新方法--归一化奇异值偏差。我们广泛地评估了NSVD在合成数据和真实数据中的有效性，并证明了它产生了比最新技术更稳健、更稳定和更可靠的估计。最后，我们提供了一种高效的压缩方案，以便于在非常大的张量中使用NSVD。
Tensor decomposition has been shown, time and time again, to be an effective tool in multiaspect data mining, especially in exploratory applications where the interest is in discovering hidden interpretable structure from the data. In such exploratory applications, the number of such hidden structures is of utmost importance since incorrect selection may imply the discovery of noisy artifacts that do not really represent a meaningful pattern. Although extremely important, selection of this number of latent factors, also known as low-rank, is very hard, and in most cases, practitioners and researchers resort toad hoctrial-and-error or assume that somehow this number is known or is given via domain expertise. There has been a considerable amount of prior work that proposes heuristics for selecting this low rank. However, as we argue in this article, the state of the art in those heuristic methods is rather unstable and does not always reveal the correct answer. In this article, we propose the Normalized Singular Value Deviation (NSVD), a novel method for selecting the number of latent factors in Tensor Decomposition that is based on principled theoretical foundations. We extensively evaluate the effectiveness ofNSVDin synthetic and real data and demonstrate that it yields a more robust, stable, and reliable estimation than state of the art. Finally, we provide an efficient compression scheme for facilitating the use ofNSVDin very big tensors.
登录
查看更多内容
DOI：
10.1007/978-3-030-10928-8_20
发表时间：
2018-04
期刊：
--
影响因子：
--
作者：
Ravdeep Pasricha;Ekta Gujral;E. Papalexakis
通讯作者：
Ravdeep Pasricha;Ekta Gujral;E. Papalexakis
n×n 矩阵乘法的乘法复杂度的 (5/2)n2-下界
DOI：
--
发表时间：
2001
期刊：
Symposium on Theoretical Aspects of Computer Science
影响因子：
--
作者：
M. Bläser
通讯作者：
M. Bläser
张量秩的全局性质
DOI：
--
发表时间：
1978
期刊：
影响因子：
--
作者：
Thomas D. Howell
通讯作者：
Thomas D. Howell
矩阵补全和张量秩
DOI：
--
发表时间：
2013
期刊：
影响因子：
--
作者：
H. Derksen
通讯作者：
H. Derksen