Development of a method for synonymous expressions based on annotated predicate-argument graph data and its application to automatic essay scoring

点击翻译按钮获取中文摘要

初年度として，日本語小論文データの小論文に対するタグ付与作業の環境の構築，付与するタグの内容の検討，付与するタグの整理，タグ付与作業の実施，および学会での発表を行った．小論文に対する類似部分を複数の作業者で付与して整理するためにWebサーバを利用したタグ付与環境をフリーのツールを利用して構築した．付与するタグの内容について，ルーブリックに記述されている内容を基に小論文の評価に関係する部分を各課題について設定した．小論文評価には評価軸として4種類設定されているが，そのうち「理解力」に集中してタグ付与することを決定した．これは評価軸を絞ることで付与できる小論文数を増やすことと，記述内容に関連した評価軸であるため，言い換えが多く出現することが期待されるためである．各小論文課題について，「理解力」の評価に関係するタグを定義して付与作業を実施して，タグが付与可能かどうか検討した．小論文課題は1つのテーマについて3件課題があり，2名の作業で2テーマで6課題分の小論文(約1200件)に対して付与を実施した．課題ごとにタグの性質が異なるため，付与すべきタグの数と内容が異なる．例えば，「グローバリゼーションの光と影」のテーマにおける問1の課題において付与タグは8種類に設定した．付与タグの特徴として，ルーブリックに指摘している内容が記述されていても，正しくない内容が記載されている場合には「?」など異なるタグを設定した．また，小論文の採点手法に関する開発も進めた．模範答案を利用して採点精度を向上させる手法として機械学習を利用した手法を提案し国際会議で発表した．さらに，他の手法として，採点済みデータを言語生成モデルで拡張して事前学習済みの深層学習モデルで採点する手法を提案して国内の会議で発表した．