Building Automatic Scoring System in Interactive Programming Environment

点击翻译按钮获取中文摘要

本学で実施してる授業「プログラミング入門」において、実際に使用されている課題、回答に基づいて、自動採点のための方策を検討している。本授業では言語として、Jupyter Notebookで動作するPythonを題材にしているが、Pythonのみならず他のプログラミング言語にも容易に適用可能な評価基準、評価方法を提案する。以下、申請時に記載した着目ポイントについて記述する。①ソースコードの分析では、プログラミング入門科目の当初基本課題では、学生の解答の記述の揺らぎは少なく、空白・改行除去など前処理や正規表現によるマッチングで対応できているが、単元が進むにつれて、記述の揺らぎに多様性が出ており別の手法を使う必要性が現れている。②編集履歴については、現在学生の挙動を把握するため、ログ解析を一部行い、手法を提案した。「Jupyter Notebookを使ったプログラミング演習のログ解析手法に関する考察」人工知能学会第二種研究会資料,2023(KSN-032),07-,2023-03-13,一般社団法人 人工知能学会上記報告では、プログラミング演習において、学生の行動の解析として演習過程の実行ログを機械学習により分析する方法について検討しており、これは本研究の編集履歴、実行結果分析を行うための、アプローチの一つである。③実行結果は、課題として出力が指定された課題が多いため、揺らぎが少ない。実行時のエラーについての分析は編集履歴の分析とともに行っている。