Harnessing the potential of trace data and linguistic analysis to predict learner performance in a multi-text writing task
Harnessing the potential of trace data and linguistic analysis to predict learner performance in a multi-text writing task
复制标题
利用跟踪数据和语言分析的潜力来预测学习者在多文本写作任务中的表现
DOI：
10.1111/jcal.12769
复制
发表时间：
2022
影响因子：
5
通讯作者：
Rakovic M
中科院分区：
文献类型：
--
作者：
Rakovic M
对许多学习者来说，基于几篇课文的写作是一个挑战。在这些任务中支持学习者的形成性反馈应该被不断发展的书面产品的特征和学习者在开发产品时制定的学习过程的特征所告知。然而，在这方面，基于多文本的写作任务中的形成性反馈几乎完全集中在论文产品上，很少包括SRL过程。ObjectiveWe探索了使用产品和过程特征来开发机器学习分类器的可行性，这些分类器可以在多文本写作任务中识别低绩效和高绩效的论文。MethodsWe检查了163名研究生的学习过程和论文提交，这些研究生正在进行真实的多文本写作。派任我们利用学习者的跟踪数据来获得过程特征，并利用最先进的自然语言处理方法来获得分类器的产品特征。结果和结论在本研究中检查的四种流行分类器中，随机森林取得了最好的性能（准确率= 0.80，召回率= 0.77）。对随机森林分类模型中确定的重要特征的分析显示，（阅读主题的覆盖面）和三个过程（阐述/组织，该分类器可以用作未来自动化写作评估系统的一部分，该系统将支持基于不同课程中多篇课文的写作任务的大规模形成性评估。基于文章表现的重要预测因素，可以在多文本写作任务开始时为学习者量身定制指导，以帮助他们在任务中做得很好。
BackgroundAssignments that involve writing based on several texts are challenging to many learners. Formative feedback supporting learners in these tasks should be informed by the characteristics of evolving written product and by the characteristics of learning processes learners enacted while developing the product. However, formative feedback in writing tasks based on multiple texts has almost exclusively focused on essay product and rarely included SRL processes.ObjectivesWe explored the viability of using product and process features to develop machine learning classifiers that identify low‐ and high‐performing essays in a multi‐text writing task.MethodsWe examined learning processes and essay submissions of 163 graduate students working on an authentic multi‐text writing assignment. We utilised learners' trace data to obtain process features and state‐of‐the‐art natural language processing methods to obtain product features for our classifiers.Results and ConclusionsOf four popular classifiers examined in this study, Random Forest achieved the best performance (accuracy = 0.80 and recall = 0.77). The analysis of important features identified in the Random Forest classification model revealed one product (coverage of reading topics) and three process (elaboration/organisation, re‐reading and planning) features as important predictors of writing quality.Major TakeawaysThe classifier can be used as a part of a future automated writing evaluation system that will support at scale formative assessment in writing tasks based on multiple texts in different courses. Based on important predictors of essay performance, a guidance can be tailored to learners at the outset of a multi‐text writing task to help them do well in the task.
登录
查看更多内容
影响因子：
2.5
作者：
I. Molenaar;C. Boxtel;P. Sleegers
通讯作者：
P. Sleegers
eRevise：使用自然语言处理为学生写作中文本证据的使用提供形成性反馈
DOI：
--
发表时间：
2019
期刊：
AAAI Conference on Artificial Intelligence
影响因子：
--
作者：
Haoran Zhang;Ahmed Magooda;D. Litman;R. Correnti;E. Wang;L. Matsumura;Emily Howe;Rafael Quintana
通讯作者：
Rafael Quintana
计划时间和任务条件如何影响二语作家的元认知过程
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
J. Ong
通讯作者：
J. Ong
影响因子：
4.1
作者：
Elena Cotos;S. Huffman;Stephanie Link
通讯作者：
Elena Cotos;S. Huffman;Stephanie Link
自动识别从多个来源开发的论证论文中的知识转化内容
影响因子：
5
作者：
Mladen Raković;Philip H. Winne;Zahia Marzouk;Daniel H. Chang
通讯作者：
Daniel H. Chang