权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ルーブリックに基づくレポート自動採点支援システムの精度向上と教育現場での活用

提高基于评分标准的报告自动评分支持系统的准确性并将其用于教育环境

基本信息

批准号：
18K11589
负责人：
山本恵
金额：
$ 2.41万
依托单位：
Nagoya University of Foreign Studies
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では、学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから当該辞書を再構築し、計算した単語難易度の精度の検証と網羅性に関わる改善を進めた。2020年度は、全年度明らかになった問題に対応するため、自動採点部のルーブリックおよびそれらの計算式の細部を改善した。また大学教員のヒューマンスコアの収集、およびレポート採点用ルーブリックの改善に向けた意見の収集を行った。その結果ある程度共通項を見出すことができた。2021年度は、前年度に続き、教員の手動採点結果を詳細に分析し、評価項目の改善を目指した。採点時にチェックされた改善すべき項目数の合計と、総合得点との相関を求めた結果、高い相関があり、改善すべき点が多いほど得点が低いことは明らかである。したがって評価項目については現行通りで問題はない。しかしながら評価時に重視する項目が教員間で異なり、配点に差異が生じる。特に総合得点が低いレポートは教員間で共通し、高いレポートは違いがあるなどの知見が得られた。2022年度は、前年度の研究結果を受け、評価値が類似するレポートを分析して特徴を明らかにし、自動採点システムに反映させる試みを行った。特に低評価レポートの採点結果を分析した結果、文書スキル、内容、文書構成などが採点結果を類似に導く特徴量と言えることが分かった。文書構成など自動計算し辛い部分は、蓄積したデータとともにクラスタリングすることで低評価の位置付けができる可能性があり、今後検証を進めたい。

In this study, both students and teachers were involved in the construction of automatic sampling support system. The selection of points is determined by the selection criteria, and the automatic selection of points for each evaluation item is performed. In 2018, we will focus on improving the accuracy of sampling points, improving the evaluation methods of each evaluation item, and focusing on the improvement of the evaluation methods of word standards. 2019- In 2020, we will improve the calculation details of the problems in the whole year. The university teachers 'collection, collection and improvement The common term of the result is: In 2021, the results of manual sampling by teachers were analyzed in detail, and the improvement of evaluation projects was pointed out. The total number of items collected, the total number of correlation points obtained, the high correlation points obtained, the improvement points obtained, the high correlation points obtained, the low correlation points obtained, the high correlation points obtained, the high correlation points obtained, the high The project is currently under review. There are differences between teachers and teachers in terms of evaluation time and emphasis. Special combination points are common among teachers and high among teachers. In 2022, the results of the previous year's study were evaluated and analyzed. Special evaluation of the acquisition results of the analysis of results, documents, content, document composition, acquisition results, similar characteristics, words, points Document composition: automatic calculation, accumulation, location, probability, future verification