Quality Control in Crowdsourcing based on Fine-Grained Behavioral Features
Quality Control in Crowdsourcing based on Fine-Grained Behavioral Features
复制标题
基于细粒度行为特征的众包质量控制
DOI：
10.1145/3479586
复制
发表时间：
2021
影响因子：
--
通讯作者：
Yue, Chuan
中科院分区：
文献类型：
--
作者：
Pei, Weiping;Yang, Zhiju;Chen, Monchu;Yue, Chuan
众包在大规模数据收集和标记方面很受欢迎，但主要的挑战是检测低质量的提交。最近的研究表明，员工的行为特征与数据质量高度相关，可以用于质量控制。然而，这些研究主要是利用粗提取的行为特征，并没有进一步探索细粒度级别（即注释单元级别）的质量控制。在本文中，我们研究了使用细粒度行为特征用于众包质量控制的可行性和好处，细粒度行为特征是从工人与子任务中每个单个单元的个体交互中精细提取的行为特征。我们设计并实现了一个名为细粒度行为质量控制（FBQC）的框架，该框架专门提取细粒度行为特征，以提供三种质量控制机制：(1)客观任务的质量预测，(2)主观任务的可疑行为检测，以及(3)无监督工人分类。使用FBQC框架，我们进行了两个现实世界的众包实验，并证明了在所有三种质量控制机制中使用细粒度行为特征是可行且有益的。我们的工作为帮助求职者或众包平台进一步实现更好的质量控制提供了线索和启示。
Crowdsourcing is popular for large-scale data collection and labeling, but a major challenge is on detecting low-quality submissions. Recent studies have demonstrated that behavioral features of workers are highly correlated with data quality and can be useful in quality control. However, these studies primarily leveraged coarsely extracted behavioral features, and did not further explore quality control at the fine-grained level, i.e., the annotation unit level. In this paper, we investigate the feasibility and benefits of using fine-grained behavioral features, which are the behavioral features finely extracted from a worker's individual interactions with each single unit in a subtask, for quality control in crowdsourcing. We design and implement a framework named Fine-grained Behavior-based Quality Control (FBQC) that specifically extracts fine-grained behavioral features to provide three quality control mechanisms: (1) quality prediction for objective tasks, (2) suspicious behavior detection for subjective tasks, and (3) unsupervised worker categorization. Using the FBQC framework, we conduct two real-world crowdsourcing experiments and demonstrate that using fine-grained behavioral features is feasible and beneficial in all three quality control mechanisms. Our work provides clues and implications for helping job requesters or crowdsourcing platforms to further achieve better quality control.
登录
查看更多内容
您的行为表明您的可靠性：对人群行为轨迹进行建模以确保质量相关注释
DOI：
10.1609/hcomp.v6i1.13331
发表时间：
2018
期刊：
Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Tanya Goyal;Tyler McDonnell;Mucahid Kutlu;T. Elsayed;Matthew Lease
通讯作者：
Matthew Lease
jQuery
DOI：
10.1007/978-1-4842-5509-4_6
发表时间：
2019
期刊：
Beginning Database Programming Using ASP.NET Core 3
影响因子：
--
作者：
Bipin Joshi
通讯作者：
Bipin Joshi
Amazon Mechanical Turk 上工人收入的数据驱动分析
DOI：
10.48550/arxiv.1712.05796
发表时间：
2017
期刊：
arXiv e-prints
影响因子：
--
作者：
Hara Kotaro
通讯作者：
Hara Kotaro
影响因子：
5
作者：
Han, Shuguang;Dai, Peng;Huynh, David
通讯作者：
Huynh, David
自信地进行基于人群的对象分割的点击流分析
DOI：
10.1109/tpami.2017.2777967
发表时间：
2016
影响因子：
23.6
作者：
Eric Heim;A. Seitel;Jonas Andrulis;Fabian Isensee;C. Stock;T. Ross;L. Maier
通讯作者：
L. Maier