A taxonomy of weight learning methods for statistical relational learning
A taxonomy of weight learning methods for statistical relational learning
复制标题
统计关系学习的权重学习方法分类
DOI：
10.1007/s10994-021-06069-5
复制
发表时间：
2021
期刊：
影响因子：
7.5
通讯作者：
Getoor, Lise
中科院分区：
文献类型：
--
作者：
Srinivasan, Sriram;Dickens, Charles;Augustine, Eriq;Farnadi, Golnoosh;Getoor, Lise
统计关系学习(SRL)框架在定义复杂关系数据的概率模型方面是有效的。他们通常使用加权的一阶逻辑规则，其中规则的权重管理概率交互，并且通常从数据中学习。现有的权重学习方法通常试图学习最大化数据似然的某些函数的一组权重；然而，这并不总是在期望的领域度量(例如准确度或F1分数)上转化为最佳性能。在本文中，我们为SRL框架介绍了一种基于搜索的权重学习方法的分类，这些方法直接在选定的领域性能度量上优化权重。为了有效地应用这些基于搜索的方法，我们引入了一种新的投影，称为缩放空间(SS)，它是真权空间的准确表示。我们表明，SS去掉了权重空间中的冗余，并捕捉了可能的权重配置之间的语义距离。为了提高搜索效率，我们还引入了一种SS近似，它简化了采样权配置的过程。我们在两个最先进的SRL框架上演示了这些方法：马尔可夫逻辑网络和概率软逻辑。我们对五个真实世界的数据集进行了实证评估，并分别在两个不同的度量标准上对它们进行了评估。我们还将它们与其他四种重量学习方法进行了比较。我们的实验结果表明，我们提出的基于搜索的方法比基于似然的方法性能更好，并且在各种性能指标上产生高达10%的改进。此外，我们进行了广泛的评估，以衡量我们的方法对不同的初始化和超参数的稳健性。实验结果表明，该方法具有较高的精度和较强的鲁棒性。
Statistical relational learning (SRL) frameworks are effective at defining probabilistic models over complex relational data. They often use weighted first-order logical rules where the weights of the rules govern probabilistic interactions and are usually learned from data. Existing weight learning approaches typically attempt to learn a set of weights that maximizes some function of data likelihood; however, this does not always translate to optimal performance on a desired domain metric, such as accuracy or F1 score. In this paper, we introduce a taxonomy of search-based weight learning approaches for SRL frameworks that directly optimize weights on a chosen domain performance metric. To effectively apply these search-based approaches, we introduce a novel projection, referred to as scaled space (SS), that is an accurate representation of the true weight space. We show that SS removes redundancies in the weight space and captures the semantic distance between the possible weight configurations. In order to improve the efficiency of search, we also introduce an approximation of SS which simplifies the process of sampling weight configurations. We demonstrate these approaches on two state-of-the-art SRL frameworks: Markov logic networks and probabilistic soft logic. We perform empirical evaluation on five real-world datasets and evaluate them each on two different metrics. We also compare them against four other weight learning approaches. Our experimental results show that our proposed search-based approaches outperform likelihood-based approaches and yield up to a 10% improvement across a variety of performance metrics. Further, we perform an extensive evaluation to measure the robustness of our approach to different initializations and hyperparameters. The results indicate that our approach is both accurate and robust.
登录
查看更多内容
快速关系概率推理和学习：通过超图进行近似计数
DOI：
10.1609/aaai.v33i01.33017816
发表时间：
2019
期刊：
Int. J. Approx. Reason.
影响因子：
--
作者：
M. Das;D. Dhami;Gautam Kunapuli;K. Kersting;Sriraam Natarajan
通讯作者：
Sriraam Natarajan
DOI：
10.1609/aaai.v30i1.10429
发表时间：
2016-02
期刊：
--
影响因子：
--
作者：
Li Chou;Somdeb Sarkhel;Nicholas Ruozzi;Vibhav Gogate
通讯作者：
Li Chou;Somdeb Sarkhel;Nicholas Ruozzi;Vibhav Gogate
使用近似计数的马尔可夫逻辑网络的可扩展训练
DOI：
10.1609/aaai.v30i1.10119
发表时间：
2016
期刊：
Int. J. Approx. Reason.
影响因子：
--
作者：
Somdeb Sarkhel;D. Venugopal;T. Pham;Parag Singla;Vibhav Gogate
通讯作者：
Vibhav Gogate
马尔可夫逻辑网络的在线最大边际权重学习
DOI：
--
发表时间：
2011
期刊：
SDM
影响因子：
--
作者：
Tuyen N. Huynh;R. Mooney
通讯作者：
R. Mooney
高维无约束 MLN 中的高效权重学习
DOI：
--
发表时间：
2018
期刊：
International Conference on Artificial Intelligence and Statistics
影响因子：
--
作者：
Khan Mohammad Al Farabi;Somdeb Sarkhel;D. Venugopal
通讯作者：
D. Venugopal