A Reinforcement Learning Framework for Relevance Feedback
A Reinforcement Learning Framework for Relevance Feedback
复制标题
DOI：
10.1145/3397271.3401099
复制
发表时间：
2020-07
期刊：
影响因子：
--
通讯作者：
Ali Montazeralghaem;Hamed Zamani;J. Allan
中科院分区：
文献类型：
--
作者：
Ali Montazeralghaem;Hamed Zamani;J. Allan
我们提出了RML，这是已知的第一个用于相关反馈的通用强化学习框架，它可以直接优化任何所需的检索度量，包括面向精度的，面向回忆的，甚至多样性度量：RML可以很容易地扩展到直接优化任何任意用户满意度信号。使用RML框架，我们可以选择有效的反馈项并适当地对它们进行加权，改进过去使用启发式方法或不直接优化检索性能的方法将参数拟合到反馈算法中的方法。由于真实的反馈分布是未知的，学习有效的相关反馈模型并非易事。在标准TREC集合上的实验将RML与现有的反馈算法进行了比较，证明了RML在MAP和α-n DCG优化方面的有效性，以及对相关指标的影响。
We present RML, the first known general reinforcement learning framework for relevance feedback that directly optimizes any desired retrieval metric, including precision-oriented, recall-oriented, and even diversity metrics: RML can be easily extended to directly optimize any arbitrary user satisfaction signal. Using the RML framework, we can select effective feedback terms and weight them appropriately, improving on past methods that fit parameters to feedback algorithms using heuristic approaches or methods that do not directly optimize for retrieval performance. Learning an effective relevance feedback model is not trivial since the true feedback distribution is unknown. Experiments on standard TREC collections compare RML to existing feedback algorithms, demonstrate the effectiveness of RML at optimizing for MAP and α-n DCG, and show the impact on related measures.