Investigating Item Bias in a CS1 Exam with Differential Item Functioning
Investigating Item Bias in a CS1 Exam with Differential Item Functioning
复制标题
使用差异项目功能研究 CS1 考试中的项目偏差
DOI：
10.1145/3408877.3432397
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Li, Min
中科院分区：
文献类型：
--
作者：
Davidson, Matt J.;Wortzman, Brett;Ko, Amy J.;Li, Min
可靠有效的考试是合理的研究设计和学生知识可靠评估的关键部分。评估和解决项目偏差是为任何评估工具建立有效性论证的关键一步。尽管在CS有效的评估工具的呼吁，项目偏见很少被调查。在传统的CS1考试中会出现什么样的项目偏差？为了调查这一点，我们检查了在一个大型CS1课程的期末考试的反应。我们使用差异项目功能（DIF）的方法，并特别调查了二元性别和研究年份相关的偏倚。虽然不是一个公开的评估工具，但考试的形式与高等教育和研究中的许多考试相似：要求学生使用纸和笔跟踪代码并编写程序。在检查中检测到一个具有显著DIF的项目，尽管幅度可以忽略不计。该案例研究展示了如何检测DIF项目，以便未来的研究人员和从业者可以进行这些分析。
Reliable and valid exams are a crucial part of both sound research design and trustworthy assessment of student knowledge. Assessing and addressing item bias is a crucial step in building a validity argument for any assessment instrument. Despite calls for valid assessment tools in CS, item bias is rarely investigated. What kinds of item bias might appear in conventional CS1 exams? To investigate this, we examined responses to a final exam in a large CS1 course. We used differential item functioning (DIF) methods and specifically investigated bias related to binary gender and year of study. Although not a published assessment instrument, the exam had a similar format to many exams in higher education and research: students are asked to trace code and write programs, using paper and pencil. One item with significant DIF was detected on the exam, though the magnitude was negligible. This case study shows how to detect DIF items so that future researchers and practitioners can do these analyses.
登录
查看更多内容
DOI：
10.1080/15366367.2019.1610343
发表时间：
2019-10
期刊：
Measurement: Interdisciplinary Research and Perspectives
影响因子：
--
作者：
R. Gagnon
通讯作者：
R. Gagnon
DOI：
--
发表时间：
2008-12
期刊：
--
影响因子：
--
作者：
De Ayala
通讯作者：
De Ayala
影响因子：
9.9
作者：
Meade, Adam W.
通讯作者：
Meade, Adam W.
独立于语言的 CS1 知识评估的项目反应理论评估
DOI：
10.1145/3287324.3287370
发表时间：
2019
期刊：
ACM Technical Symposium on Computer Science Education
影响因子：
--
作者：
Xie, Benjamin;Davidson, Matthew J.;Li, Min;Ko, Andrew J.
通讯作者：
Ko, Andrew J.
针对特定语言的程序追踪技能的形成性评估的有效性
DOI：
10.1145/3364510.3364525
发表时间：
2019
期刊：
ACM Koli Calling International Conference on Computing Education
影响因子：
--
作者：
Nelson, Greg L.;Hu, Andrew;Xie, Benjamin;Ko, Amy J.
通讯作者：
Ko, Amy J.