A Study on Multi-modal Automatic Simultaneous Interpretation System and Evaluation Method

多模态自动同声传译系统及评价方法研究

• 批准号: 21H05054
• 负责人: 中村 哲
• 金额: $ 121.14万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (S)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-07-05 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H05054/
• 关键词: 音声翻訳

課題1-A)強調を含んだ原音声をend-to-endで対象言語に変換する方式を検討し有効性を示した．形容詞以外の品詞の強調やフォーカスの抽出および翻訳法に関する検討を開始した．音声とビデオの身体的話者性変換の統合システムの改良を実施した．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法を提案し，その有効性を示した．任意のフォトリアルな発話表情合成を実現するため，Nerfに基づく従来の3次元顔モデルベースとは異なる，3次元モデルの仲介や長時間レンダリングを必要としない輝度場の機械学習に基づくスーパーフォトリアル顔画像合成法に着手した．B)分野やキーワード等の情報を明に与える形での事前適応について方式調査を行った．マルチモーダル事前学習モデルを用いた予備検討を行い，本タスクに最適化する際の学習効率が課題であることが明らかになった．C)漸進的音声合成の品質と遅延の改善を優先的に実施した．大きく語順の異なる同時音声翻訳に対応するため，構文情報を利用する方法，プレフィクスを利用する方法を提案し有効性を確認した．課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムを特定し分析した．B)現在使われている通訳品質評価法について，先行研究の検証や関連機関へのヒアリングを行い，主観評価ではなく客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた作業に着手した．翻訳評価で用いられる枠組みであるMQMを用いた小規模な同時通訳評価アノテーションを実施した．C)同時通訳中における文単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施した．課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築し評価アノテーションに活用した．C)モジュールの再構築による統合システムの更新を行いIWSLT 2022の同時翻訳共通タスクに参加した．

Topic 1-A) Emphasize the meaning of speech, end-to-end, and change the mode of speech. The emphasis on adjectives other than adjectives begins with the extraction and translation of adjectives. The improvement of voice and voice quality of speech and speech system is implemented. Any speech is not allowed. The expression synthesis of arbitrary speech is realized by Nerf, which is the basic information of three-dimensional color and three-dimensional color. It is necessary to study the mechanical learning of luminance field, which is the basic information of three-dimensional color and three-dimensional color. It is necessary to investigate the mode of information of three-dimensional color and three-dimensional color. C) Progressive sound-to-sound synthesis and quality improvement with priority to implementation. The method of using the structure information is to confirm the validity of the proposal. Topic 2-A) Remote simultaneous communication is introduced into the existing communication support system for specific analysis.B) The communication quality evaluation method is now used to conduct preliminary research on the identification of related organs, and the main evaluation method is used to determine the possibility of the customer. A study on the relationship between cognitive load index and cognitive load index was carried out. Topic 3-A) Construction and evaluation of the original communication and communication system.C) Renewal of the integrated system for reconstruction of the system.

项目成果

Using Local Phrase Dependency Structure Information in Neural Sequence-to-Sequence Speech Synthesis

在神经序列到序列语音合成中使用局部短语依赖结构信息

• DOI: 10.1109/o-cocosda202152914.2021.9660456
• 发表时间: 2021
• 期刊: Proceeding of the Oriental COCOSDA 2021
• 作者: Nobuyoshi Kaiki;Sakriani Sakti;Satoshi Nakamura
• 通讯作者: Satoshi Nakamura

IWSLT Evaluation Campaign: Simultaneous Speech Translation

IWSLT 评估活动：同步语音翻译

• 发表时间: 2022
• 作者: 西村 珠子;大山 拓也;Hu Hooi Ting;藤岡 敏史;末次 志郎;須藤 克仁
• 通讯作者: 須藤 克仁

Product of Priors型確率分布を導入した音源モデルに基づく独立深層学習行列分析による多チャネル音源分離

基于引入先验型概率分布乘积的声源模型，使用独立深度学习矩阵分析进行多通道声源分离

• 发表时间: 2021
• 作者: 長岡一起;加島亮太;田中雅光;山下太郎;川上哲志;井上弘士;藤巻朗;蓮実拓也，中村友彦，高宗典玄，猿渡洋，北村大地，高橋祐，近藤多伸
• 通讯作者: 蓮実拓也，中村友彦，高宗典玄，猿渡洋，北村大地，高橋祐，近藤多伸

Relational Data Selection for Data Augmentation of Speaker-Dependent Multi-Band MelGAN Vocoder

• DOI: 10.21437/interspeech.2021-806
• 发表时间: 2021-06
• 作者: Yi-Chiao Wu;Cheng-Hung Hu;Hung-Shin Lee;Yu-Huai Peng;Wen-Chin Huang;Yu Tsao;Hsin-Min Wang;T. Toda

Masked Language Model による系列確率に基づく文法誤り検出

使用掩码语言模型基于序列概率的语法错误检测

• 发表时间: 2022
• 作者: 末次 志郎;大山 拓也;Hooi Ting Hu;藤岡 敏史;西村 珠子;土肥康輔，須藤克仁，中村哲
• 通讯作者: 土肥康輔，須藤克仁，中村哲