Optimal ranking of test items using the Rasch model
Optimal ranking of test items using the Rasch model
复制标题
使用 Rasch 模型对测试项目进行优化排序
DOI：
10.1109/allerton.2016.7852268
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
Richard Baraniuk
中科院分区：
文献类型：
--
作者：
Divyanshu Vats;Andrew S. Lan;Christoph Studer;Richard Baraniuk
我们研究了测试项目的排序问题，即根据测试项目提供的潜在特质信息量对测试项目进行排序。我们专注于教育应用，教师对问题排序感兴趣，以便选择一小部分信息丰富的问题，以有效评估学生对课程材料的理解。使用Rasch模型对学生的回答进行建模，我们证明了在以学生回答的熵最大化为目标的设置中，对Rasch模型的项目级别参数进行排序的简单算法是最优的。我们使用理论结果和使用几个真实世界数据集的经验结果来证明排序算法的最优性。此外，我们还演示了排序算法如何以批量自适应方式用于预测未观察到的学生反应。
We study the problem of ranking test items, i.e., the ordering of items according to the amount of information they provide on the latent trait of the respondents. We focus on educational applications, where instructors are interested in ranking questions so as to select a small set of informative questions in order to efficiently assess the students' understanding on the course material. Using the Rasch model for modeling student responses, we prove that the simple algorithm of sorting the item level parameters of the Rasch model is optimal in the setting where the goal is to maximize the entropy of the student responses. We demonstrate the optimality of the sorting algorithm using both theoretical results and using empirical results on several real-world datasets. Furthermore, we also demonstrate how the sorting algorithm can be used in a batch adaptive manner for predicting unobserved student responses.