Dissecting Knowledge, Guessing, and Blunder in Multiple Choice Assessments
Dissecting Knowledge, Guessing, and Blunder in Multiple Choice Assessments
复制标题
剖析多项选择评估中的知识、猜测和错误
DOI：
10.1080/08957347.2023.2172017
复制
发表时间：
2023
影响因子：
1.5
通讯作者：
Poon, Gregory M.K.
中科院分区：
文献类型：
--
作者：
Abu-Ghazalah, Rashid M.;Dubins, David N.;Poon, Gregory M.K.
多项选择的结果本质上是概率性的结果，因为正确的答案反映了知识和猜测的结合，而不正确的答案还反映了错误，一个自信犯下的错误。为了客观地从MC测试结构中的响应中解析知识，我们使用来自本科生物技术课程的八个评估（> 9，000个响应）评估了明确解释猜测，知识和错误的概率模型。贝叶斯实施的模型，旨在评估其鲁棒性考生知识的先验信念，表明明确的知识估计是显着敏感的先验信念与分数作为唯一的输入。为了克服这一局限性，我们研究了自我排名的信心作为代理知识指标。对于我们的测试集，三个置信水平解决了测试性能。被评为最不自信的反应是正确的更频繁地比预期的随机选择，反映部分知识，但平衡的失误之间最有信心的反应。通过翻译证据为基础的猜测和失误率，通过统计合格的考生知识水平的分数，我们的方法发现在测试分析和设计的实际效用。
Multiple choice results are inherently probabilistic outcomes, as correct responses reflect a combination of knowledge and guessing, while incorrect responses additionally reflect blunder, a confidently committed mistake. To objectively resolve knowledge from responses in an MC test structure, we evaluated probabilistic models that explicitly account for guessing, knowledge, and blunder using eight assessments (>9,000 responses) from an undergraduate biotechnology curriculum. A Bayesian implementation of the models, aimed at assessing their robustness to prior beliefs in examinee knowledge, showed that explicit estimators of knowledge are markedly sensitive to prior beliefs with scores as sole input. To overcome this limitation, we examined self-ranked confidence as a proxy knowledge indicator. For our test set, three levels of confidence resolved test performance. Responses rated as least confident were correct more frequently than expected from random selection, reflecting partial knowledge, but were balanced by blunder among the most confident responses. By translating evidence-based guessing and blunder rates to pass marks that statistically qualify a desired level of examinee knowledge, our approach finds practical utility in test analysis and design.
登录
查看更多内容
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
J. F. Yates;Ju-Whei Lee;H. Shinotsuka;A. Patalano;Winston R. Sieck
通讯作者：
J. F. Yates;Ju-Whei Lee;H. Shinotsuka;A. Patalano;Winston R. Sieck
多项选择考试的不确定反应
DOI：
--
发表时间：
1966
期刊：
影响因子：
--
作者：
E. Little;J. Creaser
通讯作者：
J. Creaser
狄利克雷多项分布的一些性质及其在先验启发中的应用
DOI：
--
发表时间：
1987
期刊：
影响因子：
--
作者：
K. Chaloner;G. Duncan
通讯作者：
G. Duncan
多项选择测试的部分学分评分方法
影响因子：
1.5
作者：
R. Frary
通讯作者：
R. Frary
影响因子：
2.9
作者：
Borracci, Raul A.;Arribalzaga, Eduardo B.
通讯作者：
Arribalzaga, Eduardo B.