Accounting for Rater Effects With the Hierarchical Rater Model Framework When Scoring Simple Structured Constructed Response Tests
Accounting for Rater Effects With the Hierarchical Rater Model Framework When Scoring Simple Structured Constructed Response Tests
复制标题
在对简单结构化构建响应测试进行评分时，使用分层评分者模型框架考虑评分者效应
DOI：
10.1111/jedm.12225
复制
发表时间：
2019
影响因子：
1.3
通讯作者：
Casabianca, Jodi M.
中科院分区：
文献类型：
--
作者：
Nieto, Ricardo;Casabianca, Jodi M.
许多大规模的评估旨在通过管理测量不同但相关技能的多个部分来为个人产生两个或多个分数。多维测试，或更具体地说，简单的结构化测试，如这些依赖于多个多项选择和/或项目的构造响应部分来生成多个分数。在当前的文章中，我们提出了一个扩展的层次评分模型（HRM），适用于简单的结构化测试与构造的响应项目。除了对适当的特质结构进行建模外，本文提出的多维HRM（M-HRM）还考虑了评分者严重性偏倚和评分者变异性或不一致性。我们介绍了模型的制定，测试参数恢复，重点是潜在的特质，并比较M-HRM其他评分方法（一维HRM和传统的多维项目反应理论模型）使用模拟和经验数据。结果显示，在M-HRM下的分数更精确，在传统的多维项目反应理论模型中，当考虑评分者效应而不是忽略评分者效应时，分数有了很大的提高。
Many large‐scale assessments are designed to yield two or more scores for an individual by administering multiple sections measuring different but related skills. Multidimensional tests, or more specifically, simple structured tests, such as these rely on multiple multiple‐choice and/or constructed responses sections of items to generate multiple scores. In the current article, we propose an extension of the hierarchical rater model (HRM) to be applied with simple structured tests with constructed response items. In addition to modeling the appropriate trait structure, the multidimensional HRM (M‐HRM) presented here also accounts for rater severity bias and rater variability or inconsistency. We introduce the model formulation, test parameter recovery with a focus on latent traits, and compare the M‐HRM to other scoring approaches (unidimensional HRMs and a traditional multidimensional item response theory model) using simulated and empirical data. Results show more precise scores under the M‐HRM, with a major improvement in scores when incorporating rater effects versus ignoring them in the traditional multidimensional item response theory model.
登录
查看更多内容
用于构建反应评分的潜在类信号检测模型的研究
DOI：
--
发表时间：
2008
期刊：
影响因子：
--
作者：
L. T. DeCarlo
通讯作者：
L. T. DeCarlo
影响因子：
3.8
作者：
L. T. DeCarlo
通讯作者：
L. T. DeCarlo
在潜在类信号检测模型的框架内处理构造响应的稀疏评分者评分
DOI：
--
发表时间：
2013
期刊：
影响因子：
--
作者：
Sunhee Kim
通讯作者：
Sunhee Kim
影响因子：
6.8
作者：
AKAIKE, H
通讯作者：
AKAIKE, H
评估者捆绑模型
DOI：
--
发表时间：
2001
期刊：
影响因子：
--
作者：
Mark R. Wilson;Machteld Hoskens
通讯作者：
Machteld Hoskens