An Development of automated short-answer scoring system based on deep learning without using supervised scoring data

点击翻译按钮获取中文摘要

近年、自然言語で記述される文を順番のある時系列データと見なし、時系列データを入力データとして処理するリカレントニューラルネットワークと呼ばれるディープラーニング手法、特にBERTなどのトランスフォーマーの研究が進み、その性能の良さが証明されてきた。そこで平成29年および30年に実施した共通テスト試行調査の計12万件による記述回答データを文字認識から一気通貫でBERTによる自動採点までを行うことを試み、多くの学会で発表した。大学入試センターと農工大の共同研究グループは、通常の採点システムが用いる人手による補助輪をしない実運用で平均96％，最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、機械学習における必要なサンプルサイズについても新たな知見を得た。いままでの研究では学習データに用いるサンプルはせいぜい２千件程度であり、どの程度のサンプルがあれば十分な予測ができるかの目安は与えられていなかった。さらに九大グループでは意味的埋め込みと呼ばれる異なったアプローチによる方法を試みた。これら結果については本科研で3件の学会表彰（１．日本計算機統計学会第35回大会, 学生研究発表賞；２．Duolingo Award for IMPS 2021；３． SMASH22 Winter Symposium,準優秀賞.）を受け、その成果については日本教育新聞や日経新聞に掲載された。千葉大グループも別の方法を試みており、良い結果を得ている。