大規模試験に対応した記述式答案自動採点・採点支援システムの構築と評価

本年度の主な目的はシステムのプロトタイプを開発することであるが,昨年度に行った自動採点・採点支援アルゴリズムの検討も引き続き行った。具体的には,機械翻訳の自動評価指標の一つであるBLEUを用いて模範解答として入力したテキストと答案データの一致度を答案ごとに計算した。採点基準において採点箇所を複数設定している問題については,採点箇所ごとにBLEUを計算しBLEUが閾値以上の答案に対してその採点箇所に割り当てられている配点を与え,その合計を答案の予測得点とした。精度の評価にあたって,実際の採点においては,あらかじめ想定した正答例の記述とは異なるが,内容から正答と判断できる答案が存在するため,いわゆる模範解答や正答例のみを入力テキストとして用いるのは不十分である。そこで本研究では満点を獲得した採点済み答案を用い,採点箇所に対応する記述を手動で抽出して模範解答として入力した。BLEUを計算した結果,満点にもかかわらず閾値を超えない答案が存在した場合,その答案から記述を抽出して模範解答入力に追加した。すべての満点の答案についてBLEUが閾値を越えるまで入力と再計算を繰り返した。上記の手続きを国語の1設問に適用したところ,満点以外の答案(得点カテゴリ数3)の予測得点と実際の採点結果の分類正解率は0.73であった。本研究でこれまで行った各種の分析にはRの追加パッケージを用い,入出力部分をR言語で作成することで,通常のPCで動くシステムのプロトタイプを実装した。すべての操作はマウスで行うことが可能である。また,サポートベクターマシンによる得点予測結果やBLEUを利用した予測得点等を各答案の記述と同時に一覧する機能も実装した。これによって個別の答案に対して採点支援の有用性を利用者が確認することが可能になった。

本年度の主な目的はシステムのプロトタイプを開発することであるが,昨年度に行った自動採点・採点支援アルゴリズムの検討も引き続き行った。具体的には,機械翻訳の自動評価指標の一つであるBLEUを用いて模範解答として入力したテキストと答案データの一致度を答案ごとに計算した。採点基準において採点箇所を複数設定している問題については,採点箇所ごとにBLEUを計算しBLEUが閾値以上の答案に対してその採点箇所に割り当てられている配点を与え,その合計を答案の予測得点とした。精度の評価にあたって,実際の採点においては,あらかじめ想定した正答例の記述とは異なるが,内容から正答と判断できる答案が存在するため,いわゆる模範解答や正答例のみを入力テキストとして用いるのは不十分である。そこで本研究では満点を獲得した採点済み答案を用い,採点箇所に対応する記述を手動で抽出して模範解答として入力した。BLEUを計算した結果,満点にもかかわらず閾値を超えない答案が存在した場合,その答案から記述を抽出して模範解答入力に追加した。すべての満点の答案についてBLEUが閾値を越えるまで入力と再計算を繰り返した。上記の手続きを国語の1設問に適用したところ,満点以外の答案(得点カテゴリ数3)の予測得点と実際の採点結果の分類正解率は0.73であった。本研究でこれまで行った各種の分析にはRの追加パッケージを用い,入出力部分をR言語で作成することで,通常のPCで動くシステムのプロトタイプを実装した。すべての操作はマウスで行うことが可能である。また,サポートベクターマシンによる得点予測結果やBLEUを利用した予測得点等を各答案の記述と同時に一覧する機能も実装した。これによって個別の答案に対して採点支援の有用性を利用者が確認することが可能になった。