Everyday conversation speech synthesis

日常对话语音合成

• 批准号: 22K12107
• 负责人: 森 大毅
• 金额: $ 2.58万
• 依托单位: Utsunomiya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12107/
• 关键词: 自発音声; 会話音声; 会話音声合成; 韻律

本研究の目的は、日本語日常会話コーパス(CEJC)を利用した高品質な会話音声の合成である。End-to-end音声合成をCEJCのような録音品質が悪いコーパスに適用すると、その悪い音をそのままモデル化してしまう。本研究では、CEJCを韻律モデルの学習のみに使用しつつ、別の高品質な音声コーパスを併用してスペクトルモデルを学習することで、読み上げ音声の合成と同等な品質を保ちながら会話音声の韻律を有する音声合成を目指している。令和4年度は、end-to-end音声合成による韻律とスペクトルの重層モデリングの検討を前倒しして実施した。独立したニューラルfoモデルの導入に先立って、まず FastSpeech 2 のvariance adaptor (fo, 強度、継続時間予測器) の個別学習を試みた。前処理として、CEJCは録音レベルの統制が取れていないため、セッション単位で平均強度を一致させるような振幅正規化を行った。また、電話音声は発声方法がかなり異なることがわかったので最初の検討からは除外した。FastSpeech 2を単純にCEJCで学習したモデルから得られた合成音声は、我々が日常的に発する発話の韻律的特徴をよく反映することがわかったので、このモデルを初期状態とし、variance adaptorの重み更新を停止しつつ別の高品質な音声コーパスを用いてファインチューニングする方法を検討した。このようにして得られた合成音声は、現在のところ、品質の点でも韻律の点でも予想されるようなものとはなっておらず、原因の究明が必要である。さらに、令和4年度はaffect burst合成に関する検討として、叫び声の合成ならびにspeech laughの音声学的検討を行った。

The purpose of this study is to use <s:1> た high-quality な homophonic speech <s:1> synthesis である for daily Japanese conversation (CEJC)を. End - to - End voice synthesis を CEJC の よ う な recording quality が 悪 い コ ー パ ス に applicable す る と, そ の 悪 い sound を そ の ま ま モ デ ル change し て し ま う. This study で は, CEJC を rhythm モ デ ル の learning の み に use し つ つ, don't の high-quality な sounds コ ー パ ス を and し て ス ペ ク ト ル モ デ ル を learning す る こ と で, 読 み on げ sounds の synthetic と equal な quality を bartender ち な が ら will voice sound の rhythm を す る voice synthesis を refers し て い る. And four year は, end - to - end voice synthesis に よ る rhythm と ス ペ ク ト ル の heavy layer モ デ リ ン グ の beg を 検 fore し し て be applied し た. Independent し た ニ ュ ー ラ ル fo モ デ ル の import に first set っ て, ま ず FastSpeech 2 の variance adaptor (fo, strength, 継 続 time to sensor) の individual learning を try み た. 処 before Richard と し て, CEJC は recording レ ベ ル の control が take れ て い な い た め, セ ッ シ ョ ン 単 an average intensity で を consistent さ せ る よ う な amplitude normalization を line っ た. ま た, electric voice sound は 発 acoustic method が か な り different な る こ と が わ か っ た の で initially の 検 please か ら except は し た. FastSpeech 2 を 単 pure に CEJC で learning し た モ デ ル か ら have ら れ た synthetic voice は, I 々 が daily に 発 す る 発 words の rhythm of 徴 を よ く reflect す る こ と が わ か っ た の で, こ の モ デ ル を initial state と し and variance Adaptor の heavy み update を stop し つ つ don't の high-quality な sounds コ ー パ ス を with い て フ ァ イ ン チ ュ ー ニ ン グ す る method を beg し 検 た. こ の よ う に し て have ら れ た synthetic voice は, now の と こ ろ point, quality の で も rhythm の point で も to think さ れ る よ う な も の と は な っ て お ら ず reason の, Ming が necessary で あ る. さ ら に, make and 4 year は affect into synthetic に masato す る beg と 検 し て, called び の synthetic な ら び に researched and laugh の of phonetics 検 を line っ た.

项目成果

How should a dialog system speak? Implications for speech synthesis from real conversations

对话系统应该如何说话？

• DOI: 10.20697/jasj.78.5_283
• 发表时间: 2022
• 期刊: THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN
• 作者: Takahisa Iizuka;Hiroki Mori;森 大毅
• 通讯作者: 森 大毅

BiLSTM-CTC モデルを使用した自発的な笑い声と叫び声のEnd-to-End検出モデルの構築

使用 BiLSTM-CTC 模型构建自发笑声和哭声的端到端检测模型

• 发表时间: 2022
• 作者: 松田匠翔;有本泰子
• 通讯作者: 有本泰子

Phonetic analysis on speech-laugh occurrence in spontaneous gaming dialog

自发游戏对话中说笑发生的语音分析

• DOI: 10.1250/ast.44.36
• 发表时间: 2023
• 期刊: Acoustical Science and Technology
• 影响因子: 0.7
• 作者: 鈴木薫佳;松橋遼;津國和泉;池田雄介;Arimoto Yoshiko
• 通讯作者: Arimoto Yoshiko

話者変換によるデータ拡張を利用した叫び声合成

通过说话者转换使用数据增强进行尖叫合成

• 发表时间: 2023
• 作者: 白鳥恵大;有本泰子
• 通讯作者: 有本泰子

Neural conversational speech synthesis with flexible control of emotion dimensions

情感维度灵活控制的神经会话语音合成

• DOI: 10.23919/apsipaasc55919.2022.9980105
• 发表时间: 2022
• 期刊: Proc. APSIPA ASC 2022
• 作者: Hiroki Mori;Hironao Nishino
• 通讯作者: Hironao Nishino