Better Crowdcoding: Strategies for Promoting Accuracy in Crowdsourced Content Analysis
Better Crowdcoding: Strategies for Promoting Accuracy in Crowdsourced Content Analysis
复制标题
更好的众包编码：提高众包内容分析准确性的策略
DOI：
10.1080/19312458.2021.1895977
复制
发表时间：
2021
影响因子：
11.4
通讯作者：
Sude, Daniel
中科院分区：
文献类型：
--
作者：
Budak, Ceren;Garrett, R. Kelly;Sude, Daniel
在这项工作中，我们评估了不同的教学策略，以提高文明概念的众编码质量。我们通过对两个不同的人群-学生和亚马逊机械土耳其工人-进行的2×2实验，测试了培训、码本及其组合的有效性。此外，我们还进行了模拟，以评估与不同的教学策略和人工编码员数量相关的成本和性能之间的权衡。我们发现，训练提高了众编码质量，而码本却没有。我们进一步表明，依赖几个人类编码员并对他们的评估应用多数规则显著提高了性能。
In this work, we evaluate different instruction strategies to improve the quality of crowdcoding for the concept of civility. We test the effectiveness of training, codebooks, and their combination through 2 × 2 experiments conducted on two different populations – students and Amazon Mechanical Turk workers. In addition, we perform simulations to evaluate the trade-off between cost and performance associated with different instructional strategies and the number of human coders. We find that training improves crowdcoding quality, while codebooks do not. We further show that relying on several human coders and applying majority rule to their assessments significantly improves performance.
登录
查看更多内容
影响因子：
11.4
作者：
Lind F;Gruber M;Boomgaarden HG
通讯作者：
Boomgaarden HG
准确、快速，但并不总是便宜：评估“众包编码”作为分析社交媒体数据的替代方法
影响因子：
3.6
作者：
Guo, Lei;Mays, Kate;Lai, Sha;Jalal, Mona;Ishwar, Prakash;Betke, Margrit
通讯作者：
Betke, Margrit
对在线不文明言论的看法：类型和预测因素的检验
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
K. Kenski;Kevin Coe;Stephen A. Rains
通讯作者：
Stephen A. Rains
第八届词汇与计算语义联席会议论文集 (*SEM 2019)
DOI：
--
发表时间：
2019
期刊：
影响因子：
--
作者：
K. Kenski;Kevin Coe;Stephen A. Rains
通讯作者：
Stephen A. Rains
在线人群可以匹配真实的专家判断吗？任务复杂性和编码器位置如何影响人群编码数据的有效性？
影响因子：
5.3
作者：
Alexander Horn
通讯作者：
Alexander Horn