Modeling and Correcting Bias in Sequential Evaluation
Modeling and Correcting Bias in Sequential Evaluation
复制标题
序贯评估中的建模和纠正偏差
DOI：
10.1145/3580507.3597747
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Pananjady, Ashwin
中科院分区：
文献类型：
--
作者：
Wang, Jingyan;Pananjady, Ashwin
我们考虑顺序评估的问题，其中评估者按顺序观察候选者，并以在线、不可撤销的方式为这些候选者分配分数。受研究此类环境中的顺序偏差（即评估结果与候选人出现顺序之间的依赖性）的心理学文献的启发，我们提出了评估者评级过程的自然模型，该模型捕获了此类任务固有的缺乏校准的情况。我们进行众包实验来展示我们模型的各个方面。然后，我们将其视为统计推断问题，继续研究如何在我们的模型下纠正顺序偏差。我们为该任务提出了一种近线性时间在线算法，并证明了两个规范排名指标的保证。我们还通过在两个指标中建立匹配的下界来证明我们的算法在理论上是信息最优的。最后，我们进行了大量的数值实验，以表明我们的算法在模拟和我们收集的众包数据中通常优于使用报告分数得出的排名的实际方法。
We consider the problem of sequential evaluation, in which an evaluator observes candidates in a sequence and assigns scores to these candidates in an online, irrevocable fashion. Motivated by the psychology literature that has studied sequential bias in such settings -- namely, dependencies between the evaluation outcome and the order in which the candidates appear -- we propose a natural model for the evaluator's rating process that captures the lack of calibration inherent to such a task. We conduct crowdsourcing experiments to demonstrate various facets of our model. We then proceed to study how to correct sequential bias under our model by posing this as a statistical inference problem. We propose a near-linear time, online algorithm for this task and prove guarantees in terms of two canonical ranking metrics. We also prove that our algorithm is information theoretically optimal, by establishing matching lower bounds in both metrics. Finally, we perform a host of numerical experiments to show that our algorithm often outperforms the de facto method of using the rankings induced by the reported scores, both in simulation and on the crowdsourcing data that we collected.
登录
查看更多内容
设计最佳二元评级系统
DOI：
--
发表时间：
2018
期刊：
International Conference on Artificial Intelligence and Statistics
影响因子：
--
作者：
Nikhil Garg;Ramesh Johari
通讯作者：
Ramesh Johari
影响因子：
3.5
作者：
Kramer RS
通讯作者：
Kramer RS
DOI：
--
发表时间：
2017-05
期刊：
ArXiv
影响因子：
--
作者：
Daniel J. Hsu;K. Shi;Xiaorui Sun
通讯作者：
Daniel J. Hsu;K. Shi;Xiaorui Sun
网络分析中的极小极大率：图估计、社区检测和假设检验
影响因子：
5.7
作者：
Gao, Chao;Ma, Zongming
通讯作者：
Ma, Zongming
什么时候才艺大赛不是才艺大赛？
影响因子：
2
作者：
A. Collins;J. McKenzie;L. Williams
通讯作者：
L. Williams