Development of a method for synonymous expressions based on annotated predicate-argument graph data and its application to automatic essay scoring

基于注释谓语-论元图数据的同义表达方法的开发及其在自动作文评分中的应用

• 批准号: 22K00530
• 负责人: 竹内 孔一
• 金额: $ 2.25万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K00530/
• 关键词: 小論文; 自動採点; 言い換え; タグ付与; 理解力; 深層学習; 述語項構造; 類義表現; 述語項構造シソーラス; 小論文自動採点; グラフ構造; 概念フレーム

初年度として，日本語小論文データの小論文に対するタグ付与作業の環境の構築，付与するタグの内容の検討，付与するタグの整理，タグ付与作業の実施，および学会での発表を行った．小論文に対する類似部分を複数の作業者で付与して整理するためにWebサーバを利用したタグ付与環境をフリーのツールを利用して構築した．付与するタグの内容について，ルーブリックに記述されている内容を基に小論文の評価に関係する部分を各課題について設定した．小論文評価には評価軸として4種類設定されているが，そのうち「理解力」に集中してタグ付与することを決定した．これは評価軸を絞ることで付与できる小論文数を増やすことと，記述内容に関連した評価軸であるため，言い換えが多く出現することが期待されるためである．各小論文課題について，「理解力」の評価に関係するタグを定義して付与作業を実施して，タグが付与可能かどうか検討した．小論文課題は1つのテーマについて3件課題があり，2名の作業で2テーマで6課題分の小論文(約1200件)に対して付与を実施した．課題ごとにタグの性質が異なるため，付与すべきタグの数と内容が異なる．例えば，「グローバリゼーションの光と影」のテーマにおける問1の課題において付与タグは8種類に設定した．付与タグの特徴として，ルーブリックに指摘している内容が記述されていても，正しくない内容が記載されている場合には「?」など異なるタグを設定した．また，小論文の採点手法に関する開発も進めた．模範答案を利用して採点精度を向上させる手法として機械学習を利用した手法を提案し国際会議で発表した．さらに，他の手法として，採点済みデータを言語生成モデルで拡張して事前学習済みの深層学習モデルで採点する手法を提案して国内の会議で発表した．

In the beginning of the year, the construction of the working environment, the discussion of the contents of the work, the arrangement of the work, the implementation of the work, and the development of the study. The paper is similar to the work of the industry to pay attention to the use of the environment The content of the paper is described in detail. The content of the paper is described in detail. Small paper evaluation axis and four kinds of settings, all "understanding" and focus on the payment of this decision. The number of small papers is increased by the number of comments on the axis. Each small paper topic in the middle,"understanding" and evaluation of the relationship between the definition of the assignment and the implementation of the assignment, the assignment and the possibility of discussion. Small papers 1 topic 3 topics 2 assignments 2 topics 6 topics Small papers (about 1200 pieces) 3 assignments and 3 implementation. The nature of the problem is different. For example, the topic of "light and shadow" is set in 8 categories. When the characteristics of the assignment are changed, the contents are described in the description, and the contents are recorded in the description. The difference between the two sets. A small paper and a collection of methods to open the door to progress. Model answers are available at international conferences using precision techniques. In addition, his method of speech generation is proposed for domestic conferences.

项目成果

Statistical Learning Models for Japanese Essay Scoring Toward One-shot Learning

• DOI: 10.1109/iiaiaai55812.2022.00070
• 发表时间: 2022-07
• 期刊: 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI)
• 作者: Chihiro Ejima;Koichi Takeuchi