Crowdsourcing in Computing Education Research: Case Amazon MTurk
Crowdsourcing in Computing Education Research: Case Amazon MTurk
复制标题
计算机教育研究中的众包：案例 Amazon MTurk
DOI：
10.1145/3428029.3428062
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Juha Sorva
中科院分区：
文献类型：
--
作者：
Arto Hellas;Albina Zavgorodniaia;Juha Sorva
亚马逊MTurk等众包平台提供了对人力资源的访问，这些人力资源可以被分配任务，以在线完成，但需要付费。在本文中，我们回顾了依赖于众包的计算教育研究（CER）的研究;我们还描述了使用Amazon MTurk进行CER研究的经验。我们讨论了在招聘具有特定背景的员工时所面临的挑战，比如没有编程经验，以及过滤掉不可靠的研究参与者时的考虑因素。结合文献中的建议和我们在进行研究时学到的经验教训，我们为正在考虑众包的CER研究人员综合了建议。在我们的案例研究中，我们没有发现众包工人的普遍犯规行为，总体而言，我们的经验和文献表明，众包CER是可行的。然而，众包数据能在多大程度上产生适用于特定教育背景的答案，这一点还不确定。在对众包CER的有效性和普遍性得出明确的结论之前，还需要更多的研究。
Crowdsourcing platforms such as Amazon MTurk provide access to a human workforce that can be given tasks to complete online for a fee. In this article, we review studies in computing education research (CER) that rely on crowdsourcing; we also describe our own experiences of using Amazon MTurk for a CER study. We discuss challenges in recruiting workers with specific backgrounds—such as no programming experience—and considerations in filtering out unreliable research participants. Combining recommendations from the literature with the lessons that we learned whilst conducting our study, we synthesize advice for researchers in CER who are considering crowdsourcing. In our case study, we did not find widespread foul play by crowdsourced workers and, overall, our experiences and the literature suggest that crowdsourced CER is feasible. It is, however, uncertain to what extent crowdsourced data can produce answers that apply to specific educational contexts. More research is needed before definitive conclusions can be drawn about the validity and generalizability of crowdsourced CER.
UpGrade：寻找学生开放式解决方案以创造可扩展的学习机会
DOI：
10.1145/3330430.3333614
发表时间：
2019
期刊：
Proceedings of the Sixth (2019
影响因子：
--
作者：
Wang, Xu;Talluri, Srinivasa Teja;Rose, Carolyn;Koedinger, Kenneth
通讯作者：
Koedinger, Kenneth
所有人的代码质量改进：Scratch 自动重构
DOI：
10.1109/vlhcc.2019.8818950
发表时间：
2019
期刊：
2019 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC
影响因子：
--
作者：
Techapalokul, Peeratham;Tilevich, Eli
通讯作者：
Tilevich, Eli
渐进类型的行为：用户研究
DOI：
10.1145/3276945.3276947
发表时间：
2018
期刊：
Proceedings of the 14th {ACM} {SIGPLAN} International Symposium on Dynamic Languages
影响因子：
--
作者：
Tunnell Wilson, Preston;Greenman, Ben;Pombrio, Justin;Krishnamurthi, Shriram
通讯作者：
Krishnamurthi, Shriram