元音声の音声言語情報を逐次的に考慮する同時音声翻訳の研究

顺序考虑原始语音的语音语言信息的同步语音翻译研究

• 批准号: 22KJ0838
• 负责人: 佐伯 高明
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0838/
• 关键词: 音声合成; 音声生成システムの自動評価; 自己教師あり学習; 多言語音声処理

今年度，私は特別研究員として多様な言語間での音声翻訳のための音声合成技術・音声復元技術の研究を行った．さらに，国内外の学会で積極的に研究成果を発信した．私は2022年10月から2023年1月にかけてカーネギーメロン大学のLanguage Technologies Instituteに渡航し，東京大学とも連携しながら多言語音声合成の研究に従事した．テキスト資源を用いた自己教師あり事前学習により，テキスト資源しか得られない言語で音声合成システムを構築する新たな枠組みを提案した．これは，音声合成システムのカバーする言語数を増やし，同時音声翻訳システムの多様化に寄与する研究成果である．この研究成果は，人工知能分野の難関国際会議として知られるIJCAI2023に採択された．また，劣化音声の復元モデルを自己教師あり学習によって構築する新たな枠組みを提案し，Interspeech 2022で口頭発表を行った．これは今後の多様な音声資源の活用に向けて重要な貢献であり，情報処理学会山下記念研究賞やGoogle East Asia Student Travel Grantを受賞した．音声合成機構を持つ音声翻訳システムの評価に向けて，合成音声の自動評価システムの研究を実施した．我々の評価システムであるUTMOSは，合成音声品質の自動評価の国際コンペティションであるVoiceMOS Challenge 2022で，16個の評価指標のうち10個の指標で1位を獲得するという非常に優れた成績を収めた．このシステムは，音声生成タスクの評価実験を行う上で大変有用なものであり，今後の音声翻訳・音声合成・音声強調など幅広い研究分野での活用が期待される．以上のように，特別研究員の研究課題に寄与する研究実績を上げることができた．

More special this year, the private は researcher と し て others な words between で の sounds over 訳 の た め の voice synthesis technology, voice sound recovery technology の を line っ た. Youdaoplaceholder0, the active に research results of domestic and foreign <s:1> societies で, を, are published in た. Private は October 2022 か ら January 2023 に か け て カ ー ネ ギ ー メ ロ の ン university Language Technologies Institute に tayouan し, university of Tokyo と も し link-up な が ら many words speech sound synthesis の research に 従 matter し た. テ キ ス を ト resources with い た his teacher あ り prior learning に よ り, テ キ ス ト resources し か must ら れ な で い words voice synthesis シ ス テ ム を build す る new た な 枠 group み を proposal し た. こ れ は, voice synthesis シ ス テ ム の カ バ ー す る words count を raised や し, at the same time sounds turn 訳 シ ス テ ム の more than others in the に send す る research で あ る. The <s:1> research results of に, the international conference on the division of artificial intelligence と て knowledge られるIJCAI2023に adopted 択された. ま た, degradation sounds の recovery モ デ ル を his teacher あ り learning に よ っ て build す る new た な 枠 group み を proposal し, Interspeech 2022 で oral 発 table line を っ た. こ れ は の many others in the future な の sounds resources use に to け な て important contribution で あ り, intelligence 処 learn to remember below study reward や Google East Asia Student Travel Grant を who し た. The sound-to-sound synthesis mechanism を holds the 訳システム sound-to-sound translation 訳システム <s:1> evaluation 価に towards けて, and the synthetic sound-to-sound <s:1> automatic evaluation 価システム research を implementation た. I 々 の review 価 シ ス テ ム で あ る UTMOS は, synthetic の automatic voice quality assessment 価 の international コ ン ペ テ ィ シ ョ ン で あ る VoiceMOS Challenge 2022 で, 16 価 の evaluation index の う ち 10 の index で one を get す る と い う very に optimal れ た grades を 収 め た. こ の シ ス テ ム は, sounds generated タ ス ク の review 価 be 験 を line う で large - useful な も の で あ り, future の sounds over 訳, voice synthesis, voice emphasizes な ど picture hiroo い research eset で の use が expect さ れ る. The above <s:1> ように, the special researcher <s:1> research topic に is sent to the する research achievements を げる とがで とがで とがで た た た.

项目成果

研究代表者の個人webページ

首席研究员的个人网页

Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining

• DOI: 10.48550/arxiv.2301.12596
• 发表时间: 2023-01
• 作者: Takaaki Saeki;Soumi Maiti;Xinjian Li;Shinji Watanabe;Shinnosuke Takamichi;H. Saruwatari

UTMOS: UTokyo-SaruLab System for VoiceMOS Challenge 2022

UTMOS：2022 年 VoiceMOS 挑战赛的 UTokyo-SaruLab 系统

• DOI: 10.21437/interspeech.2022-439
• 发表时间: 2022
• 期刊: Proc. INTERSPEECH 2022
• 作者: Saeki Takaaki;Xin Detai;Nakata Wataru;Koriyama Tomoki;Takamichi Shinnosuke;Saruwatari Hiroshi
• 通讯作者: Saruwatari Hiroshi

カーネギーメロン大学/Language Technologies Institute(米国)

卡内基梅隆大学/语言技术学院（美国）