Speech Processing Based on Deep Gaussian Process With Stochastic Differential Equation Layers

基于随机微分方程层深度高斯过程的语音处理

• 批准号: 21K11955
• 负责人: 郡山 知樹
• 金额: $ 2.66万
• 依托单位: CyberAgent, Inc. AI tech studio AI Lab (2022)The University of Tokyo (2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11955/
• 关键词: 機械学習; 深層学習; 長文音声合成; ガウス過程; 微分方程式; Neural ODE; 音声合成; 音声情報処理

近年主流となっている深層ニューラルネットワーク(Deep neural network, DNN)に基づく音声情報処理は，大量の音声データを用いて大量のパラメータを学習する手法である．しかし，音声は言語・方言や話者，話し方や周囲の環境など多様性が非常に高いため，あらゆる音声を収録することは非常に困難である．そのため，例えば収録音声を十分に用意できない話者の音声を生成するone-shot音声合成のように，大量のパラメータを用いることに適さない音声情報処理が多く存在する．そこで本研究の目的は，少量のパラメータであっても複雑な関数を表現可能である，層の微分方程式表現を用いたいわゆる無限層の深層学習に基づく音声情報処理，特に音声合成における有効性を調査することである．今年度は，深層ガウス過程に基づく音声合成における畳み込み層の有効性を示した．これによって，DNNと同様の機能を持つ層を，より性能の高いDGPでも実現できることを示した．また，時間的な連続性を表現するための前段階として，長文音声合成の基盤作成を行った．具体的には，長文の中で知覚的な影響の大きいポーズを，事前学習済み言語モデルを用いて予測する手法を提案し，より自然な長文音声合成を実現することに成功した．この成果により，テキストと音声の時間軸方向の伸縮を適切に行うことの重要性が明らかになり，層の深層方向および時間軸方向のモデル化への指針が示された．

In recent years the mainstream と な っ て い る Deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク (Deep neural network, within DNN) に base づ く sounds intelligence 処 は, a large number of の sounds デ ー タ を with い て large の パ ラ メ ー タ を learning す る gimmick で あ る. し か し, sounds は や words, dialect words, words し party や weeks 囲 の environment な ど multiple others が very high に い た め, あ ら ゆ る sounds を 収 recorded す る こ と は very difficult に で あ る. そ の た め, example え ば 収 sound recording purpose を very に で き な い の sounds of the speaker's words を generated す る one - shot voice synthesis の よ う に, a large number of の パ ラ メ ー タ を with い る こ と に optimum さ な い sounds intelligence 処 Richard が す more く る. は そ こ で の this research purpose, a small amount of の パ ラ メ ー タ で あ っ て も complex 雑 な masato number を performance may で あ る, layer の differential equations show を with い た い わ ゆ る infinite deep learning に base layer の づ く sounds intelligence 処, trevor に voice synthesis に お け る have sharper sex を survey す る こ と で あ る. This year, ガウス, the deep ガウス process に basis づく sound synthesis における畳み込み layer <s:1> is effective を in demonstrating た た. こ れ に よ っ て, within DNN と with others を を hold つ の function layer, よ り high performance の い DGP で も be presently で き る こ と を shown し た. ま た, time of な even 続 を performance す る た め の earlier order と し て, long voice synthesis の base plate to finish line を っ た. Specific に は, long の で know 覚 な の affected in き い ポ ー ズ を, prior learning 済 み words モ デ ル を with い て in measuring す る を proposal し, よ り natural な long voice synthesis を be presently す る こ と に successful し た. こ の results に よ り, テ キ ス ト と sounds の time axis の telescopic を appropriate line に う こ と の importance が Ming ら か に な り, deep layer の direction お よ び time axis の モ デ ル change へ の pointer が shown さ れ た.

项目成果

More differentiated pause insertion for phoneme-based multi-speaker TTS models

基于音素的多说话人 TTS 模型的更差异化的暂停插入

• 发表时间: 2023
• 作者: Dong Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;Hiroshi Saruwatari
• 通讯作者: Hiroshi Saruwatari

Duration-Aware Pause Insertion Using Pre-Trained Language Model for Multi-Speaker Text-To-Speech

• DOI: 10.1109/icassp49357.2023.10096402
• 发表时间: 2023-02
• 期刊: ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: D. Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;H. Saruwatari

Pause Prediction Using BERT-based Features for Long-form Text-to-speech Synthesis

使用基于 BERT 的特征进行长格式文本到语音合成的暂停预测

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋;楊 棟，郡山 知樹，猿渡 洋
• 通讯作者: 楊 棟，郡山 知樹，猿渡 洋

Sequence-to-Sequence Learning for Deep Gaussian Process Based Speech Synthesis Using Self-Attention GP Layer

• DOI: 10.21437/interspeech.2021-896
• 发表时间: 2021-08
• 作者: Taiki Nakamura;Tomoki Koriyama;H. Saruwatari

深層ガウス過程音声合成における畳み込み・self-attention・リカレント構造の評価

深度高斯过程语音合成中卷积、自注意力和循环结构的评估

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋
• 通讯作者: 中村 泰貴，郡山 知樹，猿渡 洋