Distributionally-Informed Recommender System Evaluation
Distributionally-Informed Recommender System Evaluation
复制标题
分布式信息推荐系统评估
DOI：
10.1145/3613455
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Diaz, Fernando
中科院分区：
文献类型：
--
作者：
Ekstrand, Michael D.;Carterette, Ben;Diaz, Fernando
目前用于评估推荐系统的实践通常集中在面向用户的有效性度量或业务度量的点估计上，有时还结合其他度量来考虑多样性和新颖性。在这篇文章中，我们认为需要研究人员和从业人员更密切地关注各种distributionsthat来自推荐系统（或其他信息访问系统）和不确定性的来源，导致这些分布。我们的论点的一个直接含义是，研究人员和从业人员必须更彻底地报告和检查不同利益相关者群体之间和内部的效用分配。然而，各种形式的分布出现在推荐系统实验过程的更多方面，分布思想对我们如何设计，评估和呈现推荐系统评估和研究结果具有实质性的影响。在推荐系统的评估中利用和强调分布是确保系统为受影响的人提供适当和公平分配利益的必要步骤。
Current practice for evaluating recommender systems typically focuses on point estimates of user-oriented effectiveness metrics or business metrics, sometimes combined with additional metrics for considerations such as diversity and novelty. In this article, we argue for the need for researchers and practitioners to attend more closely to variousdistributionsthat arise from a recommender system (or other information access system) and the sources of uncertainty that lead to these distributions. One immediate implication of our argument is that both researchers and practitioners must report and examine more thoroughly the distribution of utility between and within different stakeholder groups. However, distributions of various forms arise in many more aspects of the recommender systems experimental process, and distributional thinking has substantial ramifications for how we design, evaluate, and present recommender systems evaluation and research results. Leveraging and emphasizing distributions in the evaluation of recommender systems is a necessary step to ensure that the systems provide appropriate and equitably distributed benefit to the people they affect.
登录
查看更多内容
理论和实践中的统计显着性检验
DOI：
--
发表时间：
2019
期刊：
International Conference on the Theory of Information Retrieval
影响因子：
--
作者：
Ben Carterette
通讯作者：
Ben Carterette
DOI：
--
发表时间：
2016
期刊：
Annual International ACM SIGIR Conference on Research and Development in Information Retrieval
影响因子：
--
作者：
J. Doorn;Daan Odijk;D. Roijers;M. de Rijke
通讯作者：
M. de Rijke
DOI：
10.18653/v1/2021.acl-long.346
发表时间：
2021
期刊：
--
影响因子：
--
作者：
Pedro Rodriguez;Joe Barrow;Alexander Miserlis Hoyle;John P. Lalor;Robin Jia;Jordan L. Boyd-Graber
通讯作者：
Pedro Rodriguez;Joe Barrow;Alexander Miserlis Hoyle;John P. Lalor;Robin Jia;Jordan L. Boyd-Graber
DOI：
10.1145/3471158.3472260
发表时间：
2020-10
期刊：
Proceedings of the 2021 ACM SIGIR International Conference on Theory of Information Retrieval
影响因子：
--
作者：
Lequn Wang;T. Joachims
通讯作者：
Lequn Wang;T. Joachims
DOI：
10.1145/2043932.2043987
发表时间：
2011-10
期刊：
--
影响因子：
--
作者：
G. Takács;I. Pilászy;D. Tikk
通讯作者：
G. Takács;I. Pilászy;D. Tikk