An Development of automated short-answer scoring system based on deep learning without using supervised scoring data

基于深度学习的不使用监督评分数据的自动简答评分系统的开发

• 批准号: 20H04300
• 负责人: 石岡 恒憲
• 金额: $ 10.32万
• 依托单位: The National Center for University Entrance Examinations
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H04300/
• 关键词: 自動採点; 自然言語処理; 機械学習; 深層学習; 手書き文字認識; アンサンブル学習

近年、自然言語で記述される文を順番のある時系列データと見なし、時系列データを入力データとして処理するリカレントニューラルネットワークと呼ばれるディープラーニング手法、特にBERTなどのトランスフォーマーの研究が進み、その性能の良さが証明されてきた。そこで平成29年および30年に実施した共通テスト試行調査の計12万件による記述回答データを文字認識から一気通貫でBERTによる自動採点までを行うことを試み、多くの学会で発表した。大学入試センターと農工大の共同研究グループは、通常の採点システムが用いる人手による補助輪をしない実運用で平均96％，最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、機械学習における必要なサンプルサイズについても新たな知見を得た。いままでの研究では学習データに用いるサンプルはせいぜい２千件程度であり、どの程度のサンプルがあれば十分な予測ができるかの目安は与えられていなかった。さらに九大グループでは意味的埋め込みと呼ばれる異なったアプローチによる方法を試みた。これら結果については本科研で3件の学会表彰（１．日本計算機統計学会第35回大会, 学生研究発表賞；２．Duolingo Award for IMPS 2021；３． SMASH22 Winter Symposium,準優秀賞.）を受け、その成果については日本教育新聞や日経新聞に掲載された。千葉大グループも別の方法を試みており、良い結果を得ている。

In recent years, the natural language has been described in the order of time series, time series, and force processing. In the 29 - 30 years since the founding of the People's Republic of China, a total of 120,000 articles have been investigated. University entrance examination and joint research of agricultural and industrial universities ensure an average of 96% and a minimum of 93% consistency in the use of subsidies. 60,000 pieces of information are needed for mechanical learning, and new knowledge is obtained. In the study, the study was conducted in the middle of the 2,000-piece level. The nine ways to make a living 3 awards for this research (1. The 35th General Assembly of Japan Computer Statistics Society, Student Research Award; 2. Duolingo Award for IMPS 2021;3. SMASH22 Winter Symposium, Quasi-Excellent Award. The Japanese Education News and the Japanese News are published in this article. Chiba big group to choose a different method to try, good results

项目成果

AI-based+ Automated Short-answer Scoring System

基于人工智能的自动简答评分系统

• 发表时间: 2020
• 作者: Ishioka;T.
• 通讯作者: T.

自動採点研究のこれから.「英語教育研究における自動採点 現状と課題」

自动评分研究的未来。“英语教育自动评分研究：现状与挑战”。

• 发表时间: 2020
• 作者: 須藤敬仁;柏原昭博;石岡恒憲 (石井雄隆・近藤悠介(編))
• 通讯作者: 石岡恒憲 (石井雄隆・近藤悠介(編))

Short answer scoring of the trial test for Japanese Common University Entrance Examination,

日本统一大学入学考试简答题评分，

• 发表时间: 2021
• 作者: Oka,H.;Hung,N.T.;Cuong,N.T.;Nakagawa,M.;Ishioka,T.
• 通讯作者: Ishioka,T.

共通テストの試行調査国語記述解答データを用いた自動採点のアルゴリズムとその評価

自动评分算法及其使用普通测试试验调查日语书面答案数据的评估

• 发表时间: 2021
• 作者: 石岡恒憲;岡知樹;N.T.Hung;N.TCuong;中川正樹
• 通讯作者: 中川正樹

大学入学共通テスト試行調査における短答式記述答案の完全自動採点

高考普通考试试调查简答笔试答案全自动评分

• 发表时间: 2022
• 作者: 岡知樹，N.T.Hung;N.TCuong;中川正樹;石岡恒憲
• 通讯作者: 石岡恒憲