AIを活用した英文ライティング自動評価採点システムの開発

利用AI开发自动英语写作评价评分系统

• 批准号: 20K00900
• 负责人: 杉田 由仁
• 金额: $ 2.66万
• 依托单位: Meiji Gakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K00900/
• 关键词: ライティング・テスト; AI; 自動採点; スコア予測精度; システムAI化; 深層学習; 浅い機械学習; 性能評価; データ収集; システム改修; ライティング評価; AI (人工知能)

2022年度の研究では，ルールベースの初期モデル，決定木学習による機械学習モデル，深層学習による機械学習モデルを人間評定者とみなし，評定者スコアと合わせて評価実験を行った。その結果、4種類の評価システムの相関分析を行ったところ，Accuracy, Communicability タスクともに，実際の人間による評価と最も相関の度合いが強かったのは，深層学習モデルによる評価であり，ルールベースの初期モデルや機械学習モデルを上回るスコア予測精度が認められた。しかし，評定者スコアの収集を目的として行った2010調査および2012調査におけるTBWTの受験者やAIシステムの試行および評価結果アンケートへの協力者は共に大学生英語学習者であった。その多くが大学入学から間もない初年次生ではあったが，高校生を対象として開発したTBWTおよびそのシステムの評価実験のデータとしてはその妥当性を再吟味する必要がある。具体的には、1) 「評価エンジン」において全体集計・総合評価が行われる際に，照合するために呼び出す学習モデルのデータベースが十分ではないため，評定結果の安定性に課題がある。システムにより多くの学習用データを読み込ませて，データベース環境を拡大する必要がある,2) 総合評価の段階で，それぞれのタスクの観点別評定をどのような比重で統合するかによっても評定結果が変化することも考慮する必要がある。今後の開発において，システムの試行を繰り返すことによりデータベース環境を拡大し，各タスクの観点別評価における評定の比重を最適化することが求められる,3)深層学習モデルによる評価結果には一定の採点妥当性があることが確認されたが，データは十分であったとは言えない。より多くのテスト受験者とアンケート回答者を確保して，システムによる自動採点・評価の検証および改良の作業を継続して進めていくことが課題となる。

2022 annual の で は, ル ー ル ベ ー ス の early モ デ ル, decided to study wood に よ る rote learning モ デ ル, deep learning に よ る rote learning モ デ ル を human PingDingZhe と み な し, PingDingZhe ス コ ア と close わ せ て review 価 be 験 を line っ た. そ の results, 4 kinds の 価 シ ス テ ム の line phase masato analysis を っ た と こ ろ, Accuracy, and Communicability タ ス ク と も に, be interstate の world に よ る review 価 と most も phase masato の degrees or い が strong か っ た の は, deep learning モ デ ル に よ る review 価 で あ り, Early ル ー ル ベ ー ス の モ デ ル や rote learning モ デ ル を last る ス コ ア to measuring precision が recognize め ら れ た. し か し, PingDingZhe ス コ ア の 収 set を purpose と し て line っ た 2010 survey お よ び 2012 survey に お け る TBWT の 験 recipients や AI シ ス テ ム の trial お よ び review 価 results ア ン ケ ー ト へ の together those は に college students English learners で あ っ た. Between そ の more く が college entrance か ら も な い early secondary で は あ っ た が, high schoolers を like と seaborne し て open 発 し た TBWT お よ び そ の シ ス テ ム の review 価 be 験 の デ ー タ と し て は そ の justice を to recite with relish す る necessary が あ る. Specific に は, 1) "review 価 エ ン ジ ン" に お い て all the disaggregate · 総 close review 価 が line わ れ る interstate に, according to us す る た め に shout び out す learning モ デ ル の デ ー タ ベ ー ス が very で は な い た め, evaluation results の stability に subject が あ る. シ ス テ ム に よ り more く の learning with デ ー タ を 読 み 込 ま せ て, デ ー タ ベ ー ス environment を company, big す る necessary が あ る, 2) 総 close review 価 の Duan Jie で, そ れ ぞ れ の タ ス ク の 観 point don't assess を ど の よ う な proportion integration で す る か に よ っ て も が evaluation results - the す る こ と も consider す る necessary が あ る. Future の open 発 に お い て, シ ス テ ム の trial を Qiao り return す こ と に よ り デ ー タ ベ ー ス environment を company, big し, each タ ス ク の 観 point don't review 価 に お け る evaluation optimal proportion の を す る こ と が o め ら れ る, 3) deep learning モ デ ル に よ る review 価 results に は bound の mining justice が あ る こ と が confirm さ れ た が, Youdaoplaceholder0 デ タ タ デ is very であったと えな and えな. よ り more く の テ ス ト 験 recipients と ア ン ケ ー ト respondents を ensure し て, シ ス テ ム に よ る automatic mining point, review 価 の 検 card お よ び improvement の operating を 継 続 し て in め て い く こ と が subject と な る.

项目成果

AIを活用した英文ライティング自動評価採点システムのスコア予測精度の検証

利用AI验证英语写作自动评价评分系统的分数预测准确性

• DOI: 10.20622/jltajournal.25.0_21
• 发表时间: 2022
• 期刊: JLTA Journal
• 作者: Peter Kudry;Kevin Manuel Diaz Espana;Edward Ly;Chiu Ming-Jung;Masaki Soga and Debopriyo Roy.;大塚薫;杉田由仁
• 通讯作者: 杉田由仁