Applying machine learning to automatically assess scientific models
Applying machine learning to automatically assess scientific models
复制标题
应用机器学习自动评估科学模型
DOI：
10.1002/tea.21773
复制
发表时间：
2022
影响因子：
4.6
通讯作者：
Krajcik, Joseph
中科院分区：
文献类型：
--
作者：
Zhai, Xiaoming;He, Peng;Krajcik, Joseph
让学生参与科学建模实践是实现下一代科学教育学习目标的最有效途径之一。鉴于科学模型的复杂性和多代表性特征，对学生开发的模型进行评分是时间和成本密集型的，仍然是科学教育最具挑战性的评估实践之一。更重要的是，那些依靠及时反馈来计划和调整教学的教师不愿意使用建模任务，因为他们不能及时向学习者提供反馈。这项研究利用机器学习（ML），最先进的人工智能（AI），开发了一种方法来自动评分学生绘制的模型及其对这些模型的书面描述。我们为中学生开发了六个建模评估任务，将学科核心思想和横切概念与建模实践相结合。对于每一项任务，我们要求学生画一个模型，并写一个模型的描述，这给了不同背景的学生一个机会，以多种方式表达他们的理解。然后，我们收集了学生对这六项任务的反应，并让人类专家对这些反应的一个子集进行评分。我们使用人类评分的学生回答来开发ML算法模型（AM）并训练计算机。使用新数据进行的验证表明，机器分配的分数与人类同意分数达成了稳健的一致。对学生绘制模型的定性分析进一步揭示了可能影响机器评分准确性的五个特征：替代表达、混淆标签、大小不一致、位置不一致和冗余信息。我们认为，在开发机器评分建模任务时应考虑这五个特征。
Involving students in scientific modeling practice is one of the most effective approaches to achieving the next generation science education learning goals. Given the complexity and multirepresentational features of scientific models, scoring student‐developed models is time‐ and cost‐intensive, remaining one of the most challenging assessment practices for science education. More importantly, teachers who rely on timely feedback to plan and adjust instruction are reluctant to use modeling tasks because they could not provide timely feedback to learners. This study utilized machine learning (ML), the most advanced artificial intelligence (AI), to develop an approach to automatically score student‐drawn models and their written descriptions of those models. We developed six modeling assessment tasks for middle school students that integrate disciplinary core ideas and crosscutting concepts with the modeling practice. For each task, we asked students to draw a model and write a description of that model, which gave students with diverse backgrounds an opportunity to represent their understanding in multiple ways. We then collected student responses to the six tasks and had human experts score a subset of those responses. We used the human‐scored student responses to develop ML algorithmic models (AMs) and to train the computer. Validation using new data suggests that the machine‐assigned scores achieved robust agreements with human consent scores. Qualitative analysis of student‐drawn models further revealed five characteristics that might impact machine scoring accuracy: Alternative expression, confusing label, inconsistent size, inconsistent position, and redundant information. We argue that these five characteristics should be considered when developing machine‐scorable modeling tasks.
登录
查看更多内容
使用机器学习对化学和物理的多维评估进行评分
影响因子：
4.4
作者：
Sarah Maestrales;X. Zhai;Israel Touitou;Quinton Baker;Barbara Schneider;J. Krajcik
通讯作者：
J. Krajcik
DOI：
10.1007/s11412-019-09298-y
发表时间：
2019-09-01
影响因子：
4.3
作者：
Gerard, Libby;Kidron, Ady;Linn, Marcia C.
通讯作者：
Linn, Marcia C.
影响因子：
4.4
作者：
Zhai, Xiaoming;Shi, Lehong;Nehm, Ross H.
通讯作者：
Nehm, Ross H.
影响因子：
6.2
作者：
Ainsworth, Shaaron
通讯作者：
Ainsworth, Shaaron
高中生物、化学、地球科学和物理评估的视觉表示
DOI：
--
发表时间：
2015
期刊：
影响因子：
--
作者：
N. LaDue;J. Libarkin;Stephen R. Thomas
通讯作者：
Stephen R. Thomas