A Permutation-Based Model for Crowd Labeling: Optimal Estimation and Robustness
A Permutation-Based Model for Crowd Labeling: Optimal Estimation and Robustness
复制标题
基于排列的人群标记模型：最优估计和鲁棒性
DOI：
10.1109/tit.2020.3045613
复制
发表时间：
2016
影响因子：
2.5
通讯作者：
M. Wainwright
中科院分区：
文献类型：
--
作者：
Nihar B. Shah;Sivaraman Balakrishnan;M. Wainwright
随着众包平台和大规模数据集的出现，聚合和去噪众包标记数据的任务变得越来越重要。我们提出了一个基于置换的人群标记数据模型，这是一个显着的推广经典Dawid-Skene模型，并引入了一个新的误差度量，通过它来比较不同的估计。我们推导出全局极小极大速率的置换为基础的模型，是尖锐的对数因子，并匹配的极小极大下界下得到的更简单的Dawid-Skene模型。然后，我们设计了两个计算效率高的估计：WAN估计的设置，其中工人的能力方面的排序是近似已知的，和OBI-WAN估计，这是未知的。对于每一个这些估计，我们提供了非渐近界的性能。我们对真实世界的众包数据进行了合成模拟和实验，实验结果证实了我们的理论研究结果。
The task of aggregating and denoising crowd-labeled data has gained increased significance with the advent of crowdsourcing platforms and massive datasets. We propose a permutation-based model for crowd labeled data that is a significant generalization of the classical Dawid-Skene model, and introduce a new error metric by which to compare different estimators. We derive global minimax rates for the permutation-based model that are sharp up to logarithmic factors, and match the minimax lower bounds derived under the simpler Dawid-Skene model. We then design two computationally-efficient estimators: the WAN estimator for the setting where the ordering of workers in terms of their abilities is approximately known, and the OBI- WAN estimator where that is not known. For each of these estimators, we provide non-asymptotic bounds on their performance. We conduct synthetic simulations and experiments on real-world crowdsourcing data, and the experimental results corroborate our theoretical findings.
登录
查看更多内容
DOI：
--
发表时间：
2019-12
期刊：
--
影响因子：
--
作者：
Ivan Stelmakh;Nihar B. Shah;Aarti Singh
通讯作者：
Ivan Stelmakh;Nihar B. Shah;Aarti Singh
影响因子：
1.5
作者：
Flammarion, Nicolas;Mao, Cheng;Rigollet, Philippe
通讯作者：
Rigollet, Philippe
DOI：
--
发表时间：
2018-06
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Ivan Stelmakh;Nihar B. Shah;Aarti Singh
通讯作者：
Ivan Stelmakh;Nihar B. Shah;Aarti Singh
你的 2 是我的 1，你的 3 是我的 9：处理评级中的任意错误校准
DOI：
--
发表时间：
2019
期刊：
AAMAS Conference proceedings
影响因子：
--
作者：
Wang, J;Shah, N
通讯作者：
Shah, N