学習者個別の特性と学習状況から学習支援を個別最適化する対話エージェントの開発

点击翻译按钮获取中文摘要

学習者個別の学習計画と振り返り内容について、学習者の問題点を捉え、改善を促す仕組みの自動化によって、学習支援の効率化を目的とする。学習計画と振り返りは、効率的な学習活動に重要なプロセスであるが、内容に問題がある場合は支援が不可欠である。学習計画と振り返りをうまく実施できるよう支援するためには、学習者の計画と振り返り記述内容の状況に基づいて個別に支援することが望ましい。そこで、学習計画と振り返りの記述から自動的に問題を捉え、学習者に振り返りと計画方法の改善を促す仕組みが求められる。2022年度は、OpenAI の大規模言語モデルGPT-3を用いて自動的に学習計画と振り返りの記述内容を評価する方法について検証を行った。具体的には、学習の目標、焦点、方略、行動計画の各項目について、記述内容の具体度を評価するルーブリックを作成。GPT-3の言語モデルを再学習するために、作成したルーブリックに基づいて教員が人手で評価した結果をトレーニングデータとして用いた。検証の結果、再学習したモデルを用いた自動評価は、教員の手動評価と順位相関係数+0.815を示し、十分に実用に耐える性能と考えられた。ただし、自動評価と教員の人手による評価との誤差についても確認した。誤差の要因としてはトレーニングデータの標本に含まれない未知の学習者個別の記述、ルーブリックの評価項目ごとの標本数のばらつき、自動評価は一回の記述内容単独で評価していたのに対し、教員は経緯を考慮した評価などの違いが考えられた。誤差が生じることへの今後の課題として、自動評価への過度な依存を避ける方法などを今後の課題とした。