大規模試験に対応した記述式答案自動採点・採点支援システムの構築と評価

大规模考试对应笔试自动评分/评分支持系统的构建与评估

• 批准号: 20650150
• 负责人: 中島 功滋
• 金额: $ 2.11万
• 依托单位: Benesse Educational Research and Development Center
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Exploratory Research
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20650150/
• 关键词: 教育工学; 教材情報システム; 記述式答案; 自動採点; 採点支援システム

本年度の主な目的はシステムのプロトタイプを開発することであるが,昨年度に行った自動採点・採点支援アルゴリズムの検討も引き続き行った。具体的には,機械翻訳の自動評価指標の一つであるBLEUを用いて模範解答として入力したテキストと答案データの一致度を答案ごとに計算した。採点基準において採点箇所を複数設定している問題については,採点箇所ごとにBLEUを計算しBLEUが閾値以上の答案に対してその採点箇所に割り当てられている配点を与え,その合計を答案の予測得点とした。精度の評価にあたって,実際の採点においては,あらかじめ想定した正答例の記述とは異なるが,内容から正答と判断できる答案が存在するため,いわゆる模範解答や正答例のみを入力テキストとして用いるのは不十分である。そこで本研究では満点を獲得した採点済み答案を用い,採点箇所に対応する記述を手動で抽出して模範解答として入力した。BLEUを計算した結果,満点にもかかわらず閾値を超えない答案が存在した場合,その答案から記述を抽出して模範解答入力に追加した。すべての満点の答案についてBLEUが閾値を越えるまで入力と再計算を繰り返した。上記の手続きを国語の1設問に適用したところ,満点以外の答案(得点カテゴリ数3)の予測得点と実際の採点結果の分類正解率は0.73であった。本研究でこれまで行った各種の分析にはRの追加パッケージを用い,入出力部分をR言語で作成することで,通常のPCで動くシステムのプロトタイプを実装した。すべての操作はマウスで行うことが可能である。また,サポートベクターマシンによる得点予測結果やBLEUを利用した予測得点等を各答案の記述と同時に一覧する機能も実装した。これによって個別の答案に対して採点支援の有用性を利用者が確認することが可能になった。

This year's main purpose is to open the main project yesterday. The annual に行った automatically collects points and the points are supported by アルゴリズムの検问も cited き続き行った. Specifically, the automatic evaluation index of mechanical translation is a model of using BLEU. Answerとして enter forceしたテキストとanswerデータのConsistencyをanswerごとにcalculateした. The basis for collecting points, the setting of complex numbers, the problem of collecting points, the calculation of BLEU, and the calculation of BLEU The answer to the answer above the threshold value is the point to be measured and the answer is to be measured. Accuracy of the evaluation, 実记のpicking points of においては, あらかじめ Thoughts on the correct answer example の description とはdifferent なるが, content of the correct answer とJudgment of できる answer が existence す る た め, い わ ゆ る model answer や correct answer example の み を enter force テ キ ス ト と し て use い る の は not very で あ る.そこでThis research is based on the では満Pointをobtainedしたpicking points済みanswersを用い, the collected points are the に対応するrecordsをmanualでdrawoutしてmodel answersとして入力した. BLEU is calculated and the result is calculated, and the threshold is exceeded and the answer is exceeded. The answer is the case, and the answer is described and drawn.すべての満PointのAnswerについてBLEUがThreshold valueをcrossえるまで入力とRecalculateを缲り returnした. The above mentioned の手続きを国语の1 Suppose the question is applicable したところ, the answer is other than the point (the number is 3), the measured point is the correct answer rate of the classification result, and the correct answer rate is 0.73であった. In this study, various analyzes were carried out and the input and output parts were added to the analysis. R language is made of することで, and the usual のPC で动くシステムのプロトタイプを実装した.すべてのoperationはマウスで行うことがpossibleである.また, サポートベクターマシンによるGet the predicted results やBLEUをUse the したGet the points, etc. の description of each answer と at the same time に一覧するfunctional も実装した.これによってIndividual answersに対してCollect points to support the usefulnessをUser confirmationすることがpossibleになった.

项目成果

短答式記述答案の採点支援ツールの開発と評価

开发和评估简答书面答案评分支持工具

• 发表时间: 2011
• 作者: S. Toyoda;T. Usami;Y. Yamamoto;K.;Nagashima;Y. Isozaki;Y. Sun;R. Tada;中島功滋
• 通讯作者: 中島功滋

機械学習を利用した短答式記述答案の自動識別

使用机器学习自动识别简答书面答案

• 发表时间: 2010
• 作者: S. Toyoda;T. Usami;Y. Yamamoto;K.;Nagashima;Y. Isozaki;Y. Sun;R. Tada;中島功滋;中島功滋
• 通讯作者: 中島功滋