eスポーツ理解に向けた実況解説音声の分析及び音声合成アルゴリズムの開発

分析现场解说音频并开发理解电子竞技的语音合成算法

• 批准号: 22K17945
• 负责人: 齋藤 佑樹
• 金额: $ 3万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17945/
• 关键词: 音声合成; eスポーツ; 実況解説音声; 深層学習

本年度は，実況解説音声コーパスの整備を実施した．これまでに構築した SMASH コーパスは実況解説者の音声データしか含まれなかったが，それに加えてゲームプレイヤーの音声も話者の承諾を得て公開した．これにより，実況解説者だけでなく，ゲームプレイヤーの感情も考慮した実況解説音声合成モデルの構築も可能になった．本年度はさらに，自発性の高い実況解説音声におけるポーズ挿入をより高精度に行うための機械学習アルゴリズムを設計・評価した．今後は，このアルゴリズムを実際の実況解説音声合成に適用する．

This year, the company has been implementing sound control measures. The construction of the SMASH community is open to the public, and the speaker's voice is open to the public. In this case, the actual interpreter should consider the feelings of the actual interpreter and the possibility of constructing the sound synthesizer. This year's high performance audio interpretation system is designed and evaluated. In the future, the application of sound synthesis will be explained in detail.

项目成果

More differentiated pause insertion for phoneme-based multi-speaker TTS models

基于音素的多说话人 TTS 模型的更差异化的暂停插入

• 发表时间: 2023
• 作者: Dong Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;Hiroshi Saruwatari
• 通讯作者: Hiroshi Saruwatari