A Study on Multi-modal Automatic Simultaneous Interpretation System and Evaluation Method

点击翻译按钮获取中文摘要

課題1-A)強調を含んだ原音声をend-to-endで対象言語に変換する方式を検討し有効性を示した．形容詞以外の品詞の強調やフォーカスの抽出および翻訳法に関する検討を開始した．音声とビデオの身体的話者性変換の統合システムの改良を実施した．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法を提案し，その有効性を示した．任意のフォトリアルな発話表情合成を実現するため，Nerfに基づく従来の3次元顔モデルベースとは異なる，3次元モデルの仲介や長時間レンダリングを必要としない輝度場の機械学習に基づくスーパーフォトリアル顔画像合成法に着手した．B)分野やキーワード等の情報を明に与える形での事前適応について方式調査を行った．マルチモーダル事前学習モデルを用いた予備検討を行い，本タスクに最適化する際の学習効率が課題であることが明らかになった．C)漸進的音声合成の品質と遅延の改善を優先的に実施した．大きく語順の異なる同時音声翻訳に対応するため，構文情報を利用する方法，プレフィクスを利用する方法を提案し有効性を確認した．課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムを特定し分析した．B)現在使われている通訳品質評価法について，先行研究の検証や関連機関へのヒアリングを行い，主観評価ではなく客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた作業に着手した．翻訳評価で用いられる枠組みであるMQMを用いた小規模な同時通訳評価アノテーションを実施した．C)同時通訳中における文単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施した．課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築し評価アノテーションに活用した．C)モジュールの再構築による統合システムの更新を行いIWSLT 2022の同時翻訳共通タスクに参加した．