Data quality of platforms and panels for online behavioral research.
Data quality of platforms and panels for online behavioral research.
复制标题
DOI：
10.3758/s13428-021-01694-3
复制
发表时间：
2022-08
影响因子：
5.4
通讯作者：
Damer E
中科院分区：
文献类型：
--
作者：
Peer E;Rothschild D;Gordon A;Evernden Z;Damer E
我们研究了选定平台（Amazon Mechanical Turk，CloudResearch和Prolific）和面板（Qualtrics和Dynata）之间在线行为研究的数据质量的关键方面。为了确定数据质量的关键方面，我们首先与行为研究社区合作，以发现哪些方面对研究人员最重要，并发现这些方面包括注意力，理解力，诚实和可靠性。然后，我们在两项研究（N ~ 4000）中探索了这些数据质量方面的差异，有或没有数据质量过滤器（支持率）。我们发现网站之间存在相当大的差异，特别是在理解，注意力和不诚实方面。在研究1（无过滤器）中，我们发现只有Prolific在所有指标上都提供了高质量的数据。在研究2（带过滤器）中，我们发现CloudResearch和Prolific的数据质量很高。MTurk显示出令人担忧的低数据质量，即使使用数据质量过滤器。我们还发现，虽然声誉（支持率）并不能预测数据质量，但使用频率和使用目的确实可以预测数据质量，特别是在MTurk上：最低的数据质量来自MTurk参与者，他们报告说使用该网站作为他们的主要收入来源，但每周在上面花费的时间很少。我们提供了一个框架，供未来调查在线研究中不断变化的数据质量性质，以及不断发展的平台和面板如何在这些关键方面发挥作用。
We examine key aspects of data quality for online behavioral research between selected platforms (Amazon Mechanical Turk, CloudResearch, and Prolific) and panels (Qualtrics and Dynata). To identify the key aspects of data quality, we first engaged with the behavioral research community to discover which aspects are most critical to researchers and found that these include attention, comprehension, honesty, and reliability. We then explored differences in these data quality aspects in two studies (N ~ 4000), with or without data quality filters (approval ratings). We found considerable differences between the sites, especially in comprehension, attention, and dishonesty. In Study 1 (without filters), we found that only Prolific provided high data quality on all measures. In Study 2 (with filters), we found high data quality among CloudResearch and Prolific. MTurk showed alarmingly low data quality even with data quality filters. We also found that while reputation (approval rating) did not predict data quality, frequency and purpose of usage did, especially on MTurk: the lowest data quality came from MTurk participants who report using the site as their main source of income but spend few hours on it per week. We provide a framework for future investigation into the ever-changing nature of data quality in online research, and how the evolving set of platforms and panels performs on these key aspects.
登录
查看更多内容
影响因子：
8.2
作者：
Chandler, Jesse;Paolacci, Gabriele;Ratliff, Kate A.
通讯作者：
Ratliff, Kate A.
影响因子：
7.2
作者：
Goodman, Joseph K.;Paolacci, Gabriele
通讯作者：
Paolacci, Gabriele
影响因子：
22.4
作者：
Gerlach, Philipp;Teodorescu, Kinneret;Hertwig, Ralph
通讯作者：
Hertwig, Ralph
影响因子：
4.8
作者：
Cheung, Janelle H.;Burns, Deanna K.;Sliter, Michael
通讯作者：
Sliter, Michael
影响因子：
4.3
作者：
Feitosa, Jennifer;Joseph, Dana L.;Newman, Daniel A.
通讯作者：
Newman, Daniel A.