Construction of an Evaluation Dataset and Quality Estimation for Neural Language Generation

神经语言生成评估数据集的构建和质量评估

• 批准号: 22H03651
• 负责人: 小町 守
• 金额: $ 11.15万
• 依托单位: Hitotsubashi University (2023)Tokyo Metropolitan University (2022)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03651/
• 关键词: 自然言語処理; 言語生成; 評価; 品質推定; 深層学習; 文法誤り訂正; 機械翻訳; テキスト平易化

本研究では、言語生成の評価のためのデータセットを作成し、解釈性の高い自動評価手法を提案することを目的とします。作成されたテストデータそれぞれは言語モデルの単体テストのためのデータとして用いることができ、継続的インテグレーションを行う際の回帰テストに組み込むことができるようになります。本研究では、サブタスクごとのデータセットの収集・作成とともに、それを用いて自動評価を行う手法の提案を行います。本研究では、言語生成タスクのうち正例と負例を作成しやすい文法誤り訂正と機械翻訳を対象として、それぞれに対して評価用のデータセットおよびそれを用いた評価手法を提案します。文法誤り訂正は文法項目として習得すべき項目を列挙することが可能であり、それらの項目を正しく訂正できているか、という網羅的なチェックリストを作成することが可能です。また、機械翻訳では代表的な評価尺度（MQM, direct assessment 等）が存在するので、それらよりもきめ細かく機械翻訳を評価できる手法を提案します。2022年度は文法誤り訂正について網羅性の高いデータセットを作成する予備実験を行い、利点と欠点、限界について考察しました。機械翻訳では、MQM を用いた単語単位の品質推定の可能性について実験および考察を行いました。また、テキスト平易化の品質推定に向けたデータセットの拡充と、それを用いた品質推定手法の研究を行いました。

This study で は, speech generated の review 価 の た め の デ ー タ セ ッ ト 釈 を し, consummate solutions の high い automatic review 価 technique proposed を す る こ と を purpose と し ま す. Made さ れ た テ ス ト デ ー タ そ れ ぞ れ は words モ デ ル の 単 body テ ス ト の た め の デ ー タ と し て in い る こ と が で き, 継 続 of イ ン テ グ レ ー シ ョ ン を line う interstate の back 帰 テ ス ト に group み 込 む こ と が で き る よ う に な り ま す. This study で は, サ ブ タ ス ク ご と の デ ー タ セ ッ ト の 収 set, consummate と と も に, そ れ を with い て automatic review 価 lines を う technique proposed の を い ま す. This study で は, speech generated タ ス ク の う ち are cases と negative cases を made し や す い grammar mistake り correction と mechanical double 訳 を like と seaborne し て, そ れ ぞ れ に し seaborne て review 価 with の デ ー タ セ ッ ト お よ び そ れ を with い た review 価 technique proposed を し ま す. Grammar mistake り correction は grammar project と し て acquisition す べ き project を column 挙 す る こ と が may で あ り, そ れ ら の project is を し く correction で き て い る か, と い う snare of な チ ェ ッ ク リ ス ト を made す る こ と が may で す. ま た, mechanical double 訳 で は representative 価 な evaluation scale (MQM, direct assessment, etc.) exist が す る の で, そ れ ら よ り も き め fine か く mechanical double 訳 を review 価 で き る technique proposed を し ま す. 2022 annual は grammar mistake り correction に つ い て snare の high い デ ー タ セ ッ ト を made す る reserve be 験 を line い, tartness と points less, limit に つ い て investigation し ま し た. Mechanical double 訳 で は, MQM を with い た 単 language 単 a presumption の quality の possibility に つ い て be 験 お よ び line inspection を い ま し た. ま た, テ キ ス ト easy the presumption の quality に to け た デ ー タ セ ッ ト の company と, filling そ れ を with い presumption た quality technique の を line い ま し た.

项目成果

日本語文法誤り訂正コーパスへの誤用タグ付け

日语语法纠错语料库的误用标签

• 发表时间: 2022
• 作者: 小山碧海;喜友名朝視顕;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

ProQE: Proficiency-wise Quality Estimation Dataset for Grammatical Error Correction

ProQE：用于语法错误纠正的熟练程度质量估计数据集

• 发表时间: 2022
• 作者: Yujin Takahashi;Masahiro Kaneko;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi

日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築

构建带有误用标签的评估语料库以纠正日语语法错误

• 发表时间: 2023
• 期刊: 自然言語処理
• 作者: 小山碧海;喜友名朝視顕;小林賢治;新井美桜;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction

日语语法纠错自动评价质量评价数据集的构建

• 发表时间: 2022
• 作者: Daisuke Suzuki;Yujin Takahashi;Ikumi Yamashita;Taichi Aida;Tosho Hirasawa;Michitaka Nakatsuji;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi