Construction of an Evaluation Dataset and Quality Estimation for Neural Language Generation

神经语言生成评估数据集的构建和质量评估

基本信息

项目摘要

本研究では、言語生成の評価のためのデータセットを作成し、解釈性の高い自動評価手法を提案することを目的とします。作成されたテストデータそれぞれは言語モデルの単体テストのためのデータとして用いることができ、継続的インテグレーションを行う際の回帰テストに組み込むことができるようになります。本研究では、サブタスクごとのデータセットの収集・作成とともに、それを用いて自動評価を行う手法の提案を行います。本研究では、言語生成タスクのうち正例と負例を作成しやすい文法誤り訂正と機械翻訳を対象として、それぞれに対して評価用のデータセットおよびそれを用いた評価手法を提案します。文法誤り訂正は文法項目として習得すべき項目を列挙することが可能であり、それらの項目を正しく訂正できているか、という網羅的なチェックリストを作成することが可能です。また、機械翻訳では代表的な評価尺度(MQM, direct assessment 等)が存在するので、それらよりもきめ細かく機械翻訳を評価できる手法を提案します。2022年度は文法誤り訂正について網羅性の高いデータセットを作成する予備実験を行い、利点と欠点、限界について考察しました。機械翻訳では、MQM を用いた単語単位の品質推定の可能性について実験および考察を行いました。また、テキスト平易化の品質推定に向けたデータセットの拡充と、それを用いた品質推定手法の研究を行いました。
This study で は, speech generated の review 価 の た め の デ ー タ セ ッ ト 釈 を し, consummate solutions の high い automatic review 価 technique proposed を す る こ と を purpose と し ま す. Made さ れ た テ ス ト デ ー タ そ れ ぞ れ は words モ デ ル の 単 body テ ス ト の た め の デ ー タ と し て in い る こ と が で き, 継 続 of イ ン テ グ レ ー シ ョ ン を line う interstate の back 帰 テ ス ト に group み 込 む こ と が で き る よ う に な り ま す. This study で は, サ ブ タ ス ク ご と の デ ー タ セ ッ ト の 収 set, consummate と と も に, そ れ を with い て automatic review 価 lines を う technique proposed の を い ま す. This study で は, speech generated タ ス ク の う ち are cases と negative cases を made し や す い grammar mistake り correction と mechanical double 訳 を like と seaborne し て, そ れ ぞ れ に し seaborne て review 価 with の デ ー タ セ ッ ト お よ び そ れ を with い た review 価 technique proposed を し ま す. Grammar mistake り correction は grammar project と し て acquisition す べ き project を column 挙 す る こ と が may で あ り, そ れ ら の project is を し く correction で き て い る か, と い う snare of な チ ェ ッ ク リ ス ト を made す る こ と が may で す. ま た, mechanical double 訳 で は representative 価 な evaluation scale (MQM, direct assessment, etc.) exist が す る の で, そ れ ら よ り も き め fine か く mechanical double 訳 を review 価 で き る technique proposed を し ま す. 2022 annual は grammar mistake り correction に つ い て snare の high い デ ー タ セ ッ ト を made す る reserve be 験 を line い, tartness と points less, limit に つ い て investigation し ま し た. Mechanical double 訳 で は, MQM を with い た 単 language 単 a presumption の quality の possibility に つ い て be 験 お よ び line inspection を い ま し た. ま た, テ キ ス ト easy the presumption の quality に to け た デ ー タ セ ッ ト の company と, filling そ れ を with い presumption た quality technique の を line い ま し た.

项目成果

期刊论文数量(4)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
日本語文法誤り訂正コーパスへの誤用タグ付け
日语语法纠错语料库的误用标签
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小山碧海;喜友名朝視顕;三田雅人;岡照晃;小町守
  • 通讯作者:
    小町守
ProQE: Proficiency-wise Quality Estimation Dataset for Grammatical Error Correction
ProQE:用于语法错误纠正的熟练程度质量估计数据集
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yujin Takahashi;Masahiro Kaneko;Masato Mita;Mamoru Komachi
  • 通讯作者:
    Mamoru Komachi
日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築
构建带有误用标签的评估语料库以纠正日语语法错误
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小山碧海;喜友名朝視顕;小林賢治;新井美桜;三田雅人;岡照晃;小町守
  • 通讯作者:
    小町守
Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
日语语法纠错自动评价质量评价数据集的构建
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Daisuke Suzuki;Yujin Takahashi;Ikumi Yamashita;Taichi Aida;Tosho Hirasawa;Michitaka Nakatsuji;Masato Mita;Mamoru Komachi
  • 通讯作者:
    Mamoru Komachi
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

小町 守其他文献

Mutual <I>k</I>-Nearest Neighbor Graph Construction in Graph-based Semi-Supervised Classification
基于图的半监督分类中的互<I>k</I>-最近邻图构建
確信度に基づく退院時サマリの分析
基于置信水平的出院总结分析
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    安道 健一郎;奥村 貴史;小町 守;松本 裕治
  • 通讯作者:
    松本 裕治
事前学習モデルを用いた近代文語文のニューラル機械翻訳
使用预训练模型对现代文学文本进行神经机器翻译
  • DOI:
    10.20729/00216233
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    喜友名 朝視顕;平澤 寅庄;小町 守;小木曽 智信
  • 通讯作者:
    小木曽 智信
Generation of Diverse Corrected Sentences Considering the Degree of Correction
考虑纠正程度的多样化纠正句子的生成
  • DOI:
    10.5715/jnlp.28.428
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    甫立 健悟;金子 正弘;勝又 智;小町 守
  • 通讯作者:
    小町 守
歴史的日本語資料を対象とした形態素解析
日本历史资料的形态分析
  • DOI:
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小木曽 智信;小町 守;松本 裕治
  • 通讯作者:
    松本 裕治

小町 守的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('小町 守', 18)}}的其他基金

深層学習による言語生成の評価データセットの構築と品質推定
使用深度学习构建评估数据集和语言生成质量评估
  • 批准号:
    23K24907
  • 财政年份:
    2024
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
言語学習者の誤用に注目した単語と文の分散表現の獲得と分析
获取和分析单词和句子的分布式表示,重点关注语言学习者的误用
  • 批准号:
    19KK0286
  • 财政年份:
    2020
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Fund for the Promotion of Joint International Research (Fostering Joint International Research (A))
大規模なコーパスを用いた機械学習による名詞句の項構造解析
使用大规模语料库使用机器学习对名词短语进行术语结构分析
  • 批准号:
    08J09545
  • 财政年份:
    2008
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似海外基金

仮説検証能力の評価による言語生成AIの論理思考能力の研究
通过评估假设验证能力研究语言生成AI的逻辑思维能力
  • 批准号:
    24K15077
  • 财政年份:
    2024
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
漸進的な知識の拡張を行う汎用自然言語生成モデルの研究
一种逐步扩展知识的通用自然语言生成模型研究
  • 批准号:
    23K28148
  • 财政年份:
    2024
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
三次元形状の双方向モデリングのためのドメイン固有言語生成AIの確立
建立用于 3D 形状双向建模的领域特定语言生成 AI
  • 批准号:
    24K00783
  • 财政年份:
    2024
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
深層学習による言語生成の評価データセットの構築と品質推定
使用深度学习构建评估数据集和语言生成质量评估
  • 批准号:
    23K24907
  • 财政年份:
    2024
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Collaborative Research: The Individual Differences Corpus: A resource for testing and refining hypotheses about individual differences in speech production
协作研究:个体差异语料库:用于测试和完善有关言语产生个体差异的假设的资源
  • 批准号:
    2234096
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Standard Grant
漸進的な知識の拡張を行う汎用自然言語生成モデルの研究
一种逐步扩展知识的通用自然语言生成模型研究
  • 批准号:
    23H03458
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
A Physiologically Integrated Approach to Studying Mechanisms of Speech Production and Swallow Function in Down Syndrome
研究唐氏综合症的言语产生和吞咽功能机制的生理学综合方法
  • 批准号:
    10657309
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
The overlap of speech production and verbal working memory
言语产生和言语工作记忆的重叠
  • 批准号:
    10735031
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
Neural Mechanisms of Song vs Speech Production: Insights from Aphasia and Intracranial Recording
歌曲与言语产生的神经机制:失语症和颅内记录的见解
  • 批准号:
    10648716
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
Collaborative Research: The Individual Differences Corpus: A resource for testing and refining hypotheses about individual differences in speech production
协作研究:个体差异语料库:用于测试和完善有关言语产生个体差异的假设的资源
  • 批准号:
    2234098
  • 财政年份:
    2023
  • 资助金额:
    $ 11.15万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了