Graph-based Regularization on Embedding Layers for Recommendation
Graph-based Regularization on Embedding Layers for Recommendation
复制标题
基于图的嵌入层正则化推荐
DOI：
10.1145/3414067
复制
发表时间：
2020-09
影响因子：
5.6
通讯作者：
Yan Zhang
中科院分区：
文献类型：
--
作者：
Yuan Zhang;Fei Sun;Xiaoyong Yang;Chen Xu;Wenwu Ou;Yan Zhang
神经网络在推荐系统中得到了广泛的应用。作为一种典型的离散任务，对于神经模型的推荐来说，嵌入层不仅是必要的，而且是至关重要的。本文从再生核Hilbert空间正则化理论的角度出发，论证了在正常神经层(如完全连通层)中广泛使用的L2正则化对于嵌入层是不理想的。更具体地说，L2正则化对应于欧几里得空间中的内积和距离，其中离散对象(例如，项目)之间的相关性没有被很好地捕获。受此启发，我们提出了一种基于图的正则化方法作为L2正则化方法的对应物来嵌入层。所提出的正则化方法几乎不会产生额外的计算开销，特别是在使用小批量训练的情况下。我们还从理论上讨论了它与其他方法(即数据增强、图卷积和联合学习)的关系。我们在来自不同领域的五个公开可用的数据集上进行了广泛的实验，使用了两个最先进的推荐模型。结果表明，在训练数据不含外部信息的情况下，该方法在所有数据集上的性能明显优于L2正则化方法，并且对长尾用户和项目的性能有更显著的改善。
Neural networks have been extensively used in recommender systems. Embedding layers are not only necessary but also crucial for neural models in recommendation as a typical discrete task. In this article, we argue that the widely used l2 regularization for normal neural layers (e.g., fully connected layers) is not ideal for embedding layers from the perspective of regularization theory in Reproducing Kernel Hilbert Space. More specifically, the l2 regularization corresponds to the inner product and the distance in the Euclidean space where correlations between discrete objects (e.g., items) are not well captured. Inspired by this observation, we propose a graph-based regularization approach to serve as a counterpart of the l2 regularization for embedding layers. The proposed regularization incurs almost no extra computational overhead especially when being trained with mini-batches. We also discuss its relationships to other approaches (namely, data augmentation, graph convolution, and joint learning) theoretically. We conducted extensive experiments on five publicly available datasets from various domains with two state-of-the-art recommendation models. Results show that given a kNN (k-nearest neighbor) graph constructed directly from training data without external information, the proposed approach significantly outperforms the l2 regularization on all the datasets and achieves more notable improvements for long-tail users and items.
登录
查看更多内容
DOI：
--
发表时间：
2003-12
期刊：
--
影响因子：
--
作者：
Benjamin M Marlin
通讯作者：
Benjamin M Marlin
DOI：
10.1145/3292500.3330956
发表时间：
2019-05
期刊：
Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
影响因子：
--
作者：
Saurabh Verma;Zhi-Li Zhang
通讯作者：
Saurabh Verma;Zhi-Li Zhang
DOI：
10.1145/2959100.2959182
发表时间：
2016-09
期刊：
Proceedings of the 10th ACM Conference on Recommender Systems
影响因子：
--
作者：
Dawen Liang;Jaan Altosaar;Laurent Charlin;D. Blei
通讯作者：
Dawen Liang;Jaan Altosaar;Laurent Charlin;D. Blei
DOI：
10.1145/3219819.3219826
发表时间：
2018-01
期刊：
Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
影响因子：
--
作者：
Han Zhu;Pengye Zhang;Guozheng Li;Jie He;Han Li;Kun Gai
通讯作者：
Han Zhu;Pengye Zhang;Guozheng Li;Jie He;Han Li;Kun Gai
影响因子：
3.4
作者：
Harper, F. Maxwell;Konstan, Joseph A.
通讯作者：
Konstan, Joseph A.