Code-DKT: A Code-based Knowledge Tracing Model for Programming Tasks
Code-DKT: A Code-based Knowledge Tracing Model for Programming Tasks
复制标题
DOI：
10.48550/arxiv.2206.03545
复制
发表时间：
2022-06
期刊：
影响因子：
--
通讯作者：
Yang Shi;Min Chi;T. Barnes;T. Price
中科院分区：
文献类型：
--
作者：
Yang Shi;Min Chi;T. Barnes;T. Price
知识追踪（KT）模型是一种流行的方法，用于预测学生未来的表现在实践中的问题，使用他们以前的尝试。虽然KT已经进行了许多创新，但包括最先进的Deep KT（DKT）在内的大多数模型主要利用每个学生的回答，无论是正确的还是不正确的，而忽略了它的内容。在这项工作中，我们提出了基于代码的深度知识跟踪（Code-DKT），这是一种使用注意力机制来自动提取和选择特定于域的代码特征以扩展DKT的模型。我们比较了Code-DKT与贝叶斯和深度知识跟踪（BKT和DKT）在一个数据集上的有效性，该数据集来自一个50名学生的班级，他们试图解决5个入门编程作业。我们的研究结果表明，在5次分配中，Code-DKT始终优于DKT 3.07- 4.00%AUC，与其他最先进的领域通用KT模型相比，这是一个相当的改进。最后，我们通过一组案例研究来分析特定于问题的性能，以演示代码功能何时以及如何改善Code-DKT的预测。
Knowledge tracing (KT) models are a popular approach for predicting students' future performance at practice problems using their prior attempts. Though many innovations have been made in KT, most models including the state-of-the-art Deep KT (DKT) mainly leverage each student's response either as correct or incorrect, ignoring its content. In this work, we propose Code-based Deep Knowledge Tracing (Code-DKT), a model that uses an attention mechanism to automatically extract and select domain-specific code features to extend DKT. We compared the effectiveness of Code-DKT against Bayesian and Deep Knowledge Tracing (BKT and DKT) on a dataset from a class of 50 students attempting to solve 5 introductory programming assignments. Our results show that Code-DKT consistently outperforms DKT by 3.07-4.00% AUC across the 5 assignments, a comparable improvement to other state-of-the-art domain-general KT models over DKT. Finally, we analyze problem-specific performance through a set of case studies for one assignment to demonstrate when and how code features improve Code-DKT's predictions.