pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models
pyKT: A Python Library to Benchmark Deep Learning based Knowledge Tracing Models
复制标题
pyKT：用于对基于深度学习的知识追踪模型进行基准测试的 Python 库
DOI：
10.48550/arxiv.2206.11460
复制
发表时间：
2022-06
期刊：
影响因子：
--
通讯作者：
Weiqi Luo
中科院分区：
文献类型：
--
作者：
Zitao Liu;Qiongqiong Liu;Jiahao Chen;Shuyan Huang;Jiliang Tang;Weiqi Luo
知识追踪（KT）是利用学生历史学习交互数据对他们的知识掌握程度随时间的变化进行建模，从而预测他们未来的交互表现的任务。最近，使用各种深度学习技术来解决 KT 问题已经取得了显着的进展。然而，基于深度学习的知识追踪 (DLKT) 方法背后的成功仍然有些未知，并且对这些 DLKT 方法的正确测量和分析仍然是一个挑战。首先，现有作品中的数据预处理程序通常是私有的和定制的，这限制了实验标准化。此外，现有的 DLKT 研究通常在评估方案方面有所不同，并且与现实世界的教育背景相距甚远。为了解决这些问题，我们引入了一个基于 Python 的综合基准测试平台 \textsc{pyKT}，以通过彻底的评估来保证 DLKT 方法之间的有效比较。 \textsc{pyKT} 库包含一组标准化的集成数据预处理程序，针对不同领域的 7 个流行数据集，以及用于透明实验的 10 个经常比较的 DLKT 模型实现。我们细粒度和严格的实证 KT 研究的结果为有效的 DLKT 提供了一系列观察和建议，例如，错误的评估设置可能会导致标签泄漏，通常会导致性能膨胀；与 Piech 等人提出的第一个 DLKT 模型相比，许多 DLKT 方法的改进很小。 \引用{piech2015deep}。我们在 https://pykt.org/ 上开源了 \textsc{pyKT} 和我们的实验结果。我们欢迎其他研究小组和从业者的贡献。
Knowledge tracing (KT) is the task of using students' historical learning interaction data to model their knowledge mastery over time so as to make predictions on their future interaction performance. Recently, remarkable progress has been made of using various deep learning techniques to solve the KT problem. However, the success behind deep learning based knowledge tracing (DLKT) approaches is still left somewhat unknown and proper measurement and analysis of these DLKT approaches remain a challenge. First, data preprocessing procedures in existing works are often private and custom, which limits experimental standardization. Furthermore, existing DLKT studies often differ in terms of the evaluation protocol and are far away real-world educational contexts. To address these problems, we introduce a comprehensive python based benchmark platform, \textsc{pyKT}, to guarantee valid comparisons across DLKT methods via thorough evaluations. The \textsc{pyKT} library consists of a standardized set of integrated data preprocessing procedures on 7 popular datasets across different domains, and 10 frequently compared DLKT model implementations for transparent experiments. Results from our fine-grained and rigorous empirical KT studies yield a set of observations and suggestions for effective DLKT, e.g., wrong evaluation setting may cause label leakage that generally leads to performance inflation; and the improvement of many DLKT approaches is minimal compared to the very first DLKT model proposed by Piech et al. \cite{piech2015deep}. We have open sourced \textsc{pyKT} and our experimental results at https://pykt.org/. We welcome contributions from other research groups and practitioners.
登录
查看更多内容
DOI：
10.5220/0010515500600070
发表时间：
2021
期刊：
--
影响因子：
--
作者：
Sergio Iván Ramírez Luelmo;N. E. Mawas;J. Heutte
通讯作者：
Sergio Iván Ramírez Luelmo;N. E. Mawas;J. Heutte
DOI：
10.1007/978-3-030-52240-7_46
发表时间：
2020-06-10
期刊：
Artificial Intelligence in Education
影响因子：
--
作者：
Pu S;Yudelson M;Ou L;Huang Y
通讯作者：
Huang Y
DOI：
10.1609/aaai.v32i1.11864
发表时间：
2018-04
期刊：
--
影响因子：
--
作者：
Yu Su;Qingwen Liu;Qi Liu;Zhenya Huang;Yu Yin;Enhong Chen;Chris H. Q. Ding;Si Wei;Guoping Hu-G
通讯作者：
Yu Su;Qingwen Liu;Qi Liu;Zhenya Huang;Yu Yin;Enhong Chen;Chris H. Q. Ding;Si Wei;Guoping Hu-G
影响因子：
3.7
作者：
Tanja Käser;Severin Klingler;A. Schwing;Markus H. Gross
通讯作者：
Tanja Käser;Severin Klingler;A. Schwing;Markus H. Gross
DOI：
10.1007/978-3-030-67658-2_18
发表时间：
2020-09
期刊：
ArXiv
影响因子：
--
作者：
Yang Yang-Yang;Jian Shen;Yanru Qu;Yunfei Liu;Kerong Wang;Yaoming Zhu;Weinan Zhang;Yong Yu
通讯作者：
Yang Yang-Yang;Jian Shen;Yanru Qu;Yunfei Liu;Kerong Wang;Yaoming Zhu;Weinan Zhang;Yong Yu