A Study on Context-aware Latent Variable Models for Neural Machine Translation

点击翻译按钮获取中文摘要

令和4年度は、潜在変数を用いたコンテキストアウェアな機械翻訳の学習を目的として、1) 潜在ディリクレ配分法 (LDA) を用いたトランスフォーマーの研究、2) EMアルゴリズムを用いたバイリンガルサブワード分割の研究、3) 潜在拡散モデルを用いたマルチモーダル機械翻訳の研究、4) 階層型BARTによる生成型要約の研究を行った。1)について、潜在変数トピックモデルの有効性を確認するために、LDAにより与えられるタグを対訳文の先頭に付与して機械翻訳を行う手法を提案した。日英対訳コーパスASPECを用いた実験の結果、提案手法により翻訳精度BLEUが38.8%から39.0％まで向上することを確認できた。2)について、現在ほとんどの機械翻訳システムではトークン分割のためにサブワード分割が用いられているが、従来のサブワード分割は単言語を対象としていた。本研究では、ユニグラム言語モデルを基にして、2言語間のサブワードアライメントを潜在変数とするバイリンガルサブワード分割を提案した。サブワードの対応関係を学習するためにEMアルゴリズムを用いた。ASPECを用いた実験の結果、日英翻訳のBLEU値が26.7%から27.3%まで向上することが確認できた。3)について、潜在拡散モデルを用いることで、マルチモーダル機械翻訳に不要な画像情報を除去する画像変換を行う手法を提案した。Multi30kを用いた実験の結果、BLEU値が41.06%から41.20%まで向上することが確認できた。4)について、階層型モデルの有効性を確認するため、コンテキストアウェアな階層型BARTによる生成型要約の研究を行った。文レベルの情報と単語レベルの情報を階層的に融合するモデルを考案し、自動要約に適用した。実験の結果、要約精度ROUGEが40.88%から40.98%まで向上することが確認できた。