ルーブリックに基づくレポート自動採点支援システムの精度向上と教育現場での活用

点击翻译按钮获取中文摘要

本研究では、学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから当該辞書を再構築し、計算した単語難易度の精度の検証と網羅性に関わる改善を進めた。2020年度は、全年度明らかになった問題に対応するため、自動採点部のルーブリックおよびそれらの計算式の細部を改善した。また大学教員のヒューマンスコアの収集、およびレポート採点用ルーブリックの改善に向けた意見の収集を行った。その結果ある程度共通項を見出すことができた。2021年度は、前年度に続き、教員の手動採点結果を詳細に分析し、評価項目の改善を目指した。採点時にチェックされた改善すべき項目数の合計と、総合得点との相関を求めた結果、高い相関があり、改善すべき点が多いほど得点が低いことは明らかである。したがって評価項目については現行通りで問題はない。しかしながら評価時に重視する項目が教員間で異なり、配点に差異が生じる。特に総合得点が低いレポートは教員間で共通し、高いレポートは違いがあるなどの知見が得られた。2022年度は、前年度の研究結果を受け、評価値が類似するレポートを分析して特徴を明らかにし、自動採点システムに反映させる試みを行った。特に低評価レポートの採点結果を分析した結果、文書スキル、内容、文書構成などが採点結果を類似に導く特徴量と言えることが分かった。文書構成など自動計算し辛い部分は、蓄積したデータとともにクラスタリングすることで低評価の位置付けができる可能性があり、今後検証を進めたい。