元音声の音声言語情報を逐次的に考慮する同時音声翻訳の研究

今年度，私は特別研究員として多様な言語間での音声翻訳のための音声合成技術・音声復元技術の研究を行った．さらに，国内外の学会で積極的に研究成果を発信した．私は2022年10月から2023年1月にかけてカーネギーメロン大学のLanguage Technologies Instituteに渡航し，東京大学とも連携しながら多言語音声合成の研究に従事した．テキスト資源を用いた自己教師あり事前学習により，テキスト資源しか得られない言語で音声合成システムを構築する新たな枠組みを提案した．これは，音声合成システムのカバーする言語数を増やし，同時音声翻訳システムの多様化に寄与する研究成果である．この研究成果は，人工知能分野の難関国際会議として知られるIJCAI2023に採択された．また，劣化音声の復元モデルを自己教師あり学習によって構築する新たな枠組みを提案し，Interspeech 2022で口頭発表を行った．これは今後の多様な音声資源の活用に向けて重要な貢献であり，情報処理学会山下記念研究賞やGoogle East Asia Student Travel Grantを受賞した．音声合成機構を持つ音声翻訳システムの評価に向けて，合成音声の自動評価システムの研究を実施した．我々の評価システムであるUTMOSは，合成音声品質の自動評価の国際コンペティションであるVoiceMOS Challenge 2022で，16個の評価指標のうち10個の指標で1位を獲得するという非常に優れた成績を収めた．このシステムは，音声生成タスクの評価実験を行う上で大変有用なものであり，今後の音声翻訳・音声合成・音声強調など幅広い研究分野での活用が期待される．以上のように，特別研究員の研究課題に寄与する研究実績を上げることができた．

今年度，私は特別研究員として多様な言語間での音声翻訳のための音声合成技術・音声復元技術の研究を行った．さらに，国内外の学会で積極的に研究成果を発信した．私は2022年10月から2023年1月にかけてカーネギーメロン大学のLanguage Technologies Instituteに渡航し，東京大学とも連携しながら多言語音声合成の研究に従事した．テキスト資源を用いた自己教師あり事前学習により，テキスト資源しか得られない言語で音声合成システムを構築する新たな枠組みを提案した．これは，音声合成システムのカバーする言語数を増やし，同時音声翻訳システムの多様化に寄与する研究成果である．この研究成果は，人工知能分野の難関国際会議として知られるIJCAI2023に採択された．また，劣化音声の復元モデルを自己教師あり学習によって構築する新たな枠組みを提案し，Interspeech 2022で口頭発表を行った．これは今後の多様な音声資源の活用に向けて重要な貢献であり，情報処理学会山下記念研究賞やGoogle East Asia Student Travel Grantを受賞した．音声合成機構を持つ音声翻訳システムの評価に向けて，合成音声の自動評価システムの研究を実施した．我々の評価システムであるUTMOSは，合成音声品質の自動評価の国際コンペティションであるVoiceMOS Challenge 2022で，16個の評価指標のうち10個の指標で1位を獲得するという非常に優れた成績を収めた．このシステムは，音声生成タスクの評価実験を行う上で大変有用なものであり，今後の音声翻訳・音声合成・音声強調など幅広い研究分野での活用が期待される．以上のように，特別研究員の研究課題に寄与する研究実績を上げることができた．