Crowdsourcing the Evaluation of Multiple-Choice Questions Using Item-Writing Flaws and Bloom's Taxonomy
Crowdsourcing the Evaluation of Multiple-Choice Questions Using Item-Writing Flaws and Bloom's Taxonomy
复制标题
使用项目编写缺陷和布鲁姆分类法对多项选择题的评估进行众包
DOI：
10.1145/3573051.3593396
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Stamper, John
中科院分区：
文献类型：
--
作者：
Moore, Steven;Fang, Ellen;Nguyen, Huy A.;Stamper, John
在教育评估中广泛使用的多项选择题，当它们包含题写缺陷时，可能会对学生的学习产生负面影响，并扭曲分析。现有的在教育背景下评估多项选择题的方法倾向于主要关注机器可读性指标，如语法、句法和格式，而没有考虑这些问题在课程材料中的预期用途及其教学意义。在这项研究中，我们展示了基于15个常见的题写作缺陷的多项选择题的众包评测结果。通过对来自微积分和化学领域的80个问题的众包评价进行分析，发现众包工作人员能够准确地评价问题，在多个问题上匹配75%的专家评价。对于微积分问题，他们能够正确区分布鲁姆分类的两个级别，但对于化学问题，他们的准确度较低。我们讨论了如何扩展这个问题评估过程，以及它在其他领域的影响。这项工作展示了如何在教育问题的质量评估中利用众筹人员，而不考虑先前的经验或领域知识。
Multiple-choice questions, which are widely used in educational assessments, have the potential to negatively impact student learning and skew analytics when they contain item-writing flaws. Existing methods for evaluating multiple-choice questions in educational contexts tend to focus primarily on machine readability metrics, such as grammar, syntax, and formatting, without considering the intended use of the questions within course materials and their pedagogical implications. In this study, we present the results of crowdsourcing the evaluation of multiple-choice questions based on 15 common item-writing flaws. Through analysis of 80 crowdsourced evaluations on questions from the domains of calculus and chemistry, we found that crowdworkers were able to accurately evaluate the questions, matching 75% of the expert evaluations across multiple questions. They were able to correctly distinguish between two levels of Bloom's Taxonomy for the calculus questions, but were less accurate for chemistry questions. We discuss how to scale this question evaluation process and the implications it has across other domains. This work demonstrates how crowdworkers can be leveraged in the quality evaluation of educational questions, regardless of prior experience or domain knowledge.
登录
查看更多内容
影响因子：
3.7
作者：
Solmaz Abdi;Hassan Khosravi;S. Sadiq;Gianluca Demartini
通讯作者：
Solmaz Abdi;Hassan Khosravi;S. Sadiq;Gianluca Demartini
对布鲁姆分类法在马来西亚通过英语文学教授创造性和批判性思维技能的批判性分析
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
S. Rahman;N. A. Manaf
通讯作者：
N. A. Manaf
不是每个人都能写出好的例子，但好的例子可以来自任何地方
DOI：
--
发表时间：
2019
期刊：
AAAI Conference on Human Computation & Crowdsourcing
影响因子：
--
作者：
Shayan Doroudi;Ece Kamar;E. Brunskill
通讯作者：
E. Brunskill
DOI：
10.1145/3491140.3528277
发表时间：
2022-06
期刊：
Proceedings of the Ninth ACM Conference on Learning @ Scale
影响因子：
--
作者：
Anjali Singh;Christopher A. Brooks;Shayan Doroudi
通讯作者：
Anjali Singh;Christopher A. Brooks;Shayan Doroudi
生成练习题作为编程入门考试的准备策略
DOI：
--
发表时间：
2015
期刊：
Technical Symposium on Computer Science Education
影响因子：
--
作者：
Paul Denny
通讯作者：
Paul Denny