Assessing Argumentation Using Machine Learning and Cognitive Diagnostic Modeling
Assessing Argumentation Using Machine Learning and Cognitive Diagnostic Modeling
复制标题
使用机器学习和认知诊断模型评估论证
DOI：
10.1007/s11165-022-10062-w
复制
发表时间：
2022
影响因子：
2.3
通讯作者：
Wenchao Ma
中科院分区：
文献类型：
--
作者：
X. Zhai;Kevin C. Haudek;Wenchao Ma
在这项研究中，我们开发了机器学习算法来自动对学生的书面论证进行评分，然后应用认知诊断模型（CDM）方法来检查学生对科学论证的认知模式。我们抽象了对成功论证实践至关重要的三种技能（即属性）：提出主张、使用证据和提供保证。我们开发了 19 个构建的响应项目，每个项目都需要多种认知技能。我们收集了 932 名 5 至 8 年级学生的回答，并开发了机器学习算法模型来自动对他们的回答进行评分。然后我们应用 CDM 来分析他们的认知模式。结果表明，机器评分达到了 Cohen 的 $$\kappa$$ κ = 0.73，SD = 0.09 的平均机器与人类一致性。我们发现，根据学生的论证表现，他们被分为 21 组，每组都表现出不同的认知模式。在每个小组中，学生在提出主张、使用证据以及提供证据来证明证据如何支持主张方面表现出不同的能力。最常出现的 9 个群体占研究中学生的 70% 以上。我们对个别学生的深入分析表明，具有相同总能力分数的学生在完成论证所需的特定认知技能方面可能会有所不同。这一结果说明了 CDM 在评估学生在科学论证练习和其他科学实践中的细粒度认知方面的优势。
In this study, we developed machine learning algorithms to automatically score students’ written arguments and then applied the cognitive diagnostic modeling (CDM) approach to examine students’ cognitive patterns of scientific argumentation. We abstracted three types of skills (i.e., attributes) critical for successful argumentation practice: making claims, using evidence, and providing warrants. We developed 19 constructed response items, with each item requiring multiple cognitive skills. We collected responses from 932 students in Grades 5 to 8 and developed machine learning algorithmic models to automatically score their responses. We then applied CDM to analyze their cognitive patterns. Results indicate that machine scoring achieved the average machine–human agreements of Cohen’s $$\kappa$$ κ = 0.73, SD = 0.09. We found that students were clustered in 21 groups based on their argumentation performance, each revealing a different cognitive pattern. Within each group, students showed different abilities regarding making claims, using evidence, and providing warrants to justify how the evidence supports a claim. The 9 most frequent groups accounted for more than 70% of the students in the study. Our in-depth analysis of individual students suggests that students with the same total ability score might vary in the specific cognitive skills required to accomplish argumentation. This result illustrates the advantage of CDM in assessing the fine-grained cognition of students during argumentation practices in science and other scientific practices.
影响因子：
4.6
作者：
Zhai, Xiaoming;He, Peng;Krajcik, Joseph
通讯作者：
Krajcik, Joseph
计算机文本分析：促进学习的评估和研究潜力
DOI：
--
发表时间：
2019
期刊：
Computersupported collaborative learning
影响因子：
--
作者：
Lee, H.-S.
通讯作者：
Lee, H.-S.
使用分析和整体编码方法在与科学学习进展相一致的构建响应评估中比较机器学习性能
影响因子：
4.4
作者：
Jescovitch, Lauren N.;Scott, Emily E.;Cerchiara, Jack A.;Merrill, John;Urban-Lurain, Mark;Doherty, Jennifer H.;Haudek, Kevin C.
通讯作者：
Haudek, Kevin C.