Network-Based Inference Algorithm on Hadoop
Network-Based Inference Algorithm on Hadoop
复制标题
Hadoop 上基于网络的推理算法
DOI：
10.1007/978-3-642-34624-8_42
复制
发表时间：
2012-12
期刊：
影响因子：
--
通讯作者：
Shimin Cai
中科院分区：
文献类型：
--
作者：
Zhen Tang;Qingxian Wang;Shimin Cai
基于网络的推理（NBI）算法是一种新的基于二分网络的有效的个性化推荐算法，其性能优于全局排序法（GRM）和协同过滤法（CF），但NBI算法复杂度高，阻碍了其在大规模系统中的应用。本文在云计算平台Hadoop上实现了NBI算法，以解决其可扩展性问题。采用MapReduce模型将NBI算法分解为串行并行的MapReduce作业，并在Hadoop平台上并行实现。通过在Netflix数据集上进行大量实验，结果表明NBI算法能够在商用硬件上有效地处理大数据集，并具有良好的可扩展性。
Network-based inference (NBI) algorithm is a new but effective personalized recommendation algorithm based on bipartite networks, and it performs better than global ranking method (GRM) and collaborative filtering (CF).However, the complexity of NBI is high thus hinder NBI’s use in large scale system. In this paper, we implement NBI algorithm on a cloud computing platform, namely Hadoop, to solve its scalability problem. We use MapReduce model to distribute the NBI algorithm into serial parallel MapReduce jobs, and implement them in parallel on Hadoop platform. Through performing extensive experiments on the data sets of Netflix, the result shows that the NBI algorithm can scale well and process large datasets on commodity hardware effectively.
登录
查看更多内容
DOI：
10.7551/mitpress/7503.003.0040
发表时间：
2007
期刊：
--
影响因子：
--
作者：
B. Scholkopf;J. Platt;T. Hofmann
通讯作者：
B. Scholkopf;J. Platt;T. Hofmann
DOI：
10.1145/1294261.1294281
发表时间：
2007-10
期刊：
EAI Endorsed Trans. Scalable Inf. Syst.
影响因子：
--
作者：
Giuseppe DeCandia;D. Hastorun;M. Jampani;G. Kakulapati;A. Lakshman;A. Pilchin;S. Sivasubramanian
通讯作者：
Giuseppe DeCandia;D. Hastorun;M. Jampani;G. Kakulapati;A. Lakshman;A. Pilchin;S. Sivasubramanian
DOI：
--
发表时间：
2007
期刊：
--
影响因子：
--
作者：
J. Dean;Sanjay Ghemawat
通讯作者：
J. Dean;Sanjay Ghemawat
DOI：
--
发表时间：
2003
期刊：
IEEE Distributed Syst. Online
影响因子：
--
作者：
G. Linden;Brent Smith;J. York
通讯作者：
G. Linden;Brent Smith;J. York
影响因子：
3.2
作者：
M. Dikaiakos;Dimitrios Katsaros;P. Mehra;G. Pallis;A. Vakali
通讯作者：
M. Dikaiakos;Dimitrios Katsaros;P. Mehra;G. Pallis;A. Vakali