An Item Response Theory Evaluation of a Language-Independent CS1 Knowledge Assessment
An Item Response Theory Evaluation of a Language-Independent CS1 Knowledge Assessment
复制标题
独立于语言的 CS1 知识评估的项目反应理论评估
DOI：
10.1145/3287324.3287370
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Ko, Andrew J.
中科院分区：
文献类型：
--
作者：
Xie, Benjamin;Davidson, Matthew J.;Li, Min;Ko, Andrew J.
考试在计算机教育、衡量成绩和区分具有不同知识的学习者方面发挥着重要作用。但是测试可能会有让学习者困惑的缺陷，或者可能太难或太容易，使测试成绩不那么有效和可靠。我们分析了第二计算机科学1 （SCS1）概念清单，这是一种广泛使用的计算机科学（CS1）入门知识评估，以找出这些缺陷。先前对SCS1的验证研究使用了经典测试理论，无法确定分数的差异是问题性质还是学习者知识的结果。我们用项目反应理论（IRT）分别对问题难度和学习者知识进行建模，并对有问题的问题进行专家评审，从而扩展了这一验证。我们发现有三个问题测量的知识与SCS1的其余部分无关，还有四个问题对我们来自两所大学的489名本科生的样本来说太难了。
Tests serve an important role in computing education, measuring achievement and differentiating between learners with varying knowledge. But tests may have flaws that confuse learners or may be too difficult or easy, making test scores less valid and reliable. We analyzed the Second Computer Science 1 (SCS1) concept inventory, a widely used assessment of introductory computer science (CS1) knowledge, for such flaws. The prior validation study of the SCS1 used Classical Test Theory and was unable to determine whether differences in scores were a result of question properties or learner knowledge. We extended this validation by modeling question difficulty and learner knowledge separately with Item Response Theory (IRT) and performing expert review on problematic questions. We found that three questions measured knowledge that was unrelated to the rest of the SCS1, and four questions were too difficult for our sample of 489 undergrads from two universities.
登录
查看更多内容
经典测试理论的公理和主要结果
DOI：
--
发表时间：
1965
期刊：
影响因子：
--
作者：
M. R. Novick
通讯作者：
M. R. Novick
DOI：
--
发表时间：
2008-12
期刊：
--
影响因子：
--
作者：
De Ayala
通讯作者：
De Ayala
DOI：
10.4324/9780203056615
发表时间：
1980-07
期刊：
--
影响因子：
--
作者：
F. Lord
通讯作者：
F. Lord
用项目反应理论评估源代码
DOI：
10.1145/2729094.2742619
发表时间：
2015
期刊：
Proceedings of the 2015 ACM Conference on Innovation and Technology in Computer Science Education
影响因子：
--
作者：
Marc Berges;Peter Hubwieser
通讯作者：
Peter Hubwieser
概念清单真的可以衡量任何东西吗
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
C. S. Wallace;J. Bailey
通讯作者：
J. Bailey