Content Analysis by the Crowd: Assessing the Usability of Crowdsourcing for Coding Latent Constructs.
Content Analysis by the Crowd: Assessing the Usability of Crowdsourcing for Coding Latent Constructs.
复制标题
DOI：
10.1080/19312458.2017.1317338
复制
发表时间：
2017-07-03
影响因子：
11.4
通讯作者：
Boomgaarden HG
中科院分区：
文献类型：
--
作者：
Lind F;Gruber M;Boomgaarden HG
众包平台通常用于人文、社会科学和信息学的研究，包括使用众包人员来注释文本材料或视觉效果。本文利用两项实证研究，系统地评估了众编码对于新闻文本中不太明显的内容的潜力，这里重点关注政治参与者的评估。具体来说，研究 1 将众包数据的可靠性和有效性与手动内容分析的可靠性和有效性进行了比较；研究 2 继续研究材料呈现、不同类型的编码指令和答案选项格式对数据质量的影响。我们发现，人群的表现推荐将人群编码数据作为手动编码数据的可靠且有效的替代方案，对于不太明显的内容也是如此。虽然规模操作影响结果，但编码指令或材料呈现的微小修改并没有显着影响数据质量。总之，众包似乎是收集定量内容数据的强大工具。
Crowdsourcing platforms are commonly used for research in the humanities, social sciences and informatics, including the use of crowdworkers to annotate textual material or visuals. Utilizing two empirical studies, this article systematically assesses the potential of crowdcoding for less manifest contents of news texts, here focusing on political actor evaluations. Specifically, Study 1 compares the reliability and validity of crowdcoded data to that of manual content analyses; Study 2 proceeds to investigate the effects of material presentation, different types of coding instructions and answer option formats on data quality. We find that the performance of the crowd recommends crowdcoded data as a reliable and valid alternative to manually coded data, also for less manifest contents. While scale manipulations affected the results, minor modifications of the coding instructions or material presentation did not significantly influence data quality. In sum, crowdcoding appears a robust instrument to collect quantitative content data.
登录
查看更多内容
影响因子：
3.4
作者：
Budak, Ceren;Goel, Sharad;Rao, Justin M.
通讯作者：
Rao, Justin M.
影响因子：
--
作者：
Haselmayer M;Jenny M
通讯作者：
Jenny M
影响因子：
5.4
作者：
Berinsky, Adam J.;Huber, Gregory A.;Lenz, Gabriel S.
通讯作者：
Lenz, Gabriel S.
影响因子：
5.4
作者：
Boumans, Jelle W.;Trilling, Damian
通讯作者：
Trilling, Damian
影响因子：
6.2
作者：
Eberl, Jakob-Moritz;Boomgaarden, Hajo G.;Wagner, Markus
通讯作者：
Wagner, Markus