An Efficient Second-Order Approach to Factorize Sparse Matrices in Recommender Systems
An Efficient Second-Order Approach to Factorize Sparse Matrices in Recommender Systems
复制标题
推荐系统中稀疏矩阵因式分解的高效二阶方法
DOI：
10.1109/tii.2015.2443723
复制
发表时间：
2015-06
影响因子：
12.3
通讯作者：
Yunni Xia
中科院分区：
文献类型：
--
作者：
Xin Luo;Mengchu Zhou;Shuai Li;Yunni Xia
推荐系统是一种重要的学习系统，它可以通过基于潜在因子（LF）的协同过滤（CF）来实现，具有高效性和可扩展性。基于LF的CF模型依赖于针对一些所需潜在特征的优化过程;然而，它们中的大多数采用一阶优化算法，例如，梯度下降方案来执行它们的优化任务，从而不能发现由更高阶信息反映的模式。这项工作提出通过二阶优化建立一个新的基于LF的CF模型，以实现更高的准确性。我们首先研究了一个Hessian自由优化框架，并利用其原理通过计算Hessian矩阵与任意向量的乘积来避免直接使用Hessian矩阵。然后，我们提出了基于Hessian-free优化的LF模型，该模型能够通过二阶优化过程从给定的不完整矩阵中提取潜在因子。在两个工业数据集上的实验结果表明，与基于一阶优化算法的LF模型相比，该模型具有较高的预测精度和合理的计算效率。因此，它是一个很有前途的模型，实现高性能的路由器。
Recommender systems are an important kind of learning systems, which can be achieved by latent-factor (LF)-based collaborative filtering (CF) with high efficiency and scalability. LF-based CF models rely on an optimization process with respect to some desired latent features; however, most of them employ first-order optimization algorithms, e.g., gradient decent schemes, to conduct their optimization task, thereby failing in discovering patterns reflected by higher order information. This work proposes to build a new LF-based CF model via second-order optimization to achieve higher accuracy. We first investigate a Hessian-free optimization framework, and employ its principle to avoid direct usage of the Hessian matrix by computing its product with an arbitrary vector. We then propose the Hessian-free optimization-based LF model, which is able to extract latent factors from the given incomplete matrices via a second-order optimization process. Compared with LF models based on first-order optimization algorithms, experimental results on two industrial datasets show that the proposed one can offer higher prediction accuracy with reasonable computational efficiency. Hence, it is a promising model for implementing high-performance recommenders.
登录
查看更多内容
影响因子：
7.7
作者：
B. Sarwar;G. Karypis;J. Konstan;J. Riedl
通讯作者：
B. Sarwar;G. Karypis;J. Konstan;J. Riedl
DOI：
10.1109/tpami.2010.204
发表时间：
2011-07
影响因子：
23.6
作者：
Ning Zhou;W. K. Cheung;G. Qiu;X. Xue
通讯作者：
Ning Zhou;W. K. Cheung;G. Qiu;X. Xue
DOI：
10.1016/j.knosys.2011.09.006
发表时间：
2012-03
期刊：
Knowl. Based Syst.
影响因子：
--
作者：
Xin Luo;Yunni Xia;Qingsheng Zhu
通讯作者：
Xin Luo;Yunni Xia;Qingsheng Zhu
影响因子：
12.3
作者：
F. Gruson;P. Moigne;P. Delarue;A. Videt;X. Cimetiere;M. Arpilliere
通讯作者：
F. Gruson;P. Moigne;P. Delarue;A. Videt;X. Cimetiere;M. Arpilliere
DOI：
10.5555/1577069.1577091
发表时间：
2009-12
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
G. Takács;I. Pilászy;B. Németh;D. Tikk
通讯作者：
G. Takács;I. Pilászy;B. Németh;D. Tikk