An efficient algorithm for generalized discriminant analysis using incomplete Cholesky decomposition
An efficient algorithm for generalized discriminant analysis using incomplete Cholesky decomposition
复制标题
一种使用不完全 Cholesky 分解进行广义判别分析的有效算法
DOI：
10.1016/j.patrec.2006.07.008
复制
发表时间：
2007-01
期刊：
影响因子：
--
通讯作者：
中科院分区：
文献类型：
--
作者：
广义判别分析（GDA）提供了一种通过核技巧提取非线性特征的极其强大的方法。它已被建议用于一些应用，如分类问题。而GDA可以通过利用美世内核来解决，标准GDA的缺点是，它可能遭受大规模数据集的计算问题。此外，在计算大型矩阵特征值问题时，还存在数值精度问题。此外，GDA将占用大量内存（用于存储内核矩阵）。为了克服这些不足，我们利用Gram-Schmidt正交化和不完全Cholesky分解为整个训练样本找到一个基，然后利用这个基将GDA转化为另一个矩阵的特征值问题，这个矩阵的大小远小于核矩阵的大小，同时仍然可以从所有的训练样本中得到最优的鉴别向量。理论分析和在人工和真实的数据集上的实验结果表明，该方法在计算效率和识别精度方面都具有一定的优越性，特别是在训练样本量较大的情况下。
Generalized discriminant analysis (GDA) has provided an extremely powerful approach to extracting nonlinear features via kernel trick. And it has been suggested for a number of applications, such as classification problem. Whereas the GDA could be solved by the utilization of Mercer kernels, a drawback of the standard GDA is that it may suffer from computational problem for large scale data set. Besides, there is still attendant problem of numerical accuracy when computing the eigenvalue problem of large matrices. Also, the GDA would occupy large memory (to store the kernel matrix). To overcome these deficiencies, we use Gram–Schmidt orthonormalization and incomplete Cholesky decomposition to find a basis for the entire training samples, and then formulate GDA as another eigenvalue problem of matrix whose size is much smaller than that of the kernel matrix by using the basis, while still working out the optimal discriminant vectors from all training samples. The theoretical analysis and experimental results on both artificial and real data set have shown the superiority of the proposed method for performing GDA in terms of computational efficiency and even the recognition accuracy, especially when the training samples size is large.
登录
查看更多内容
DOI：
--
发表时间：
2004-12
期刊：
--
影响因子：
--
作者：
T. Xiong;Jieping Ye;Qi Li;Ravi Janardan;V. Cherkassky
通讯作者：
T. Xiong;Jieping Ye;Qi Li;Ravi Janardan;V. Cherkassky
DOI：
--
发表时间：
2000
期刊：
--
影响因子：
--
作者：
S. Mika;G. Rätsch;K. Müller
通讯作者：
S. Mika;G. Rätsch;K. Müller
影响因子：
2.9
作者：
Wenming Zheng;Li Zhao;C. Zou
通讯作者：
Wenming Zheng;Li Zhao;C. Zou
DOI：
--
发表时间：
2001
期刊：
--
影响因子：
--
作者：
S. Mika;Alex Smola;B. Scholkopf
通讯作者：
S. Mika;Alex Smola;B. Scholkopf
影响因子：
--
作者：
Wenming Zheng;Li Zhao;C. Zou
通讯作者：
Wenming Zheng;Li Zhao;C. Zou