Speech Processing Based on Deep Gaussian Process With Stochastic Differential Equation Layers

基于随机微分方程层深度高斯过程的语音处理

• 批准号: 21K11955
• 负责人: 郡山 知樹
• 金额: $ 2.66万
• 依托单位: CyberAgent, Inc. AI tech studio AI Lab (2022)The University of Tokyo (2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11955/
• 关键词: 機械学習; 深層学習; 長文音声合成; ガウス過程; 微分方程式; Neural ODE; 音声合成; 音声情報処理

近年主流となっている深層ニューラルネットワーク(Deep neural network, DNN)に基づく音声情報処理は，大量の音声データを用いて大量のパラメータを学習する手法である．しかし，音声は言語・方言や話者，話し方や周囲の環境など多様性が非常に高いため，あらゆる音声を収録することは非常に困難である．そのため，例えば収録音声を十分に用意できない話者の音声を生成するone-shot音声合成のように，大量のパラメータを用いることに適さない音声情報処理が多く存在する．そこで本研究の目的は，少量のパラメータであっても複雑な関数を表現可能である，層の微分方程式表現を用いたいわゆる無限層の深層学習に基づく音声情報処理，特に音声合成における有効性を調査することである．今年度は，深層ガウス過程に基づく音声合成における畳み込み層の有効性を示した．これによって，DNNと同様の機能を持つ層を，より性能の高いDGPでも実現できることを示した．また，時間的な連続性を表現するための前段階として，長文音声合成の基盤作成を行った．具体的には，長文の中で知覚的な影響の大きいポーズを，事前学習済み言語モデルを用いて予測する手法を提案し，より自然な長文音声合成を実現することに成功した．この成果により，テキストと音声の時間軸方向の伸縮を適切に行うことの重要性が明らかになり，層の深層方向および時間軸方向のモデル化への指針が示された．

In recent years, the mainstream of the Deep neural network (DNN) is based on sound information processing. For example, if you want to talk to someone, you have to talk to them. For example, the sound of a recorded sound is generated by one-shot sound synthesis, and a large number of sound information processing are available. The purpose of this study is to investigate the feasibility of a small number of complex equations, the application of infinite layers of differential equations, the fundamental acoustic information processing, and especially the acoustic synthesis. This year, the deep layer of the sound synthesis process, the deep layer of the sound synthesis process, the deep layer of the sound synthesis process. The DNN and the same function are maintained at different levels, and the performance of the DGP is high. The first stage of the continuous performance of the long text and sound synthesis is made. Specific, long text in the knowledge of the impact of large, medium and small, in advance to learn the language in the use of predictive methods to propose, and natural, long text sound synthesis to achieve success. The results of this research show the importance of the extension of the sound Timeline direction and the pointer of the depth direction of the sound Timeline direction.

项目成果

More differentiated pause insertion for phoneme-based multi-speaker TTS models

基于音素的多说话人 TTS 模型的更差异化的暂停插入

• 发表时间: 2023
• 作者: Dong Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;Hiroshi Saruwatari
• 通讯作者: Hiroshi Saruwatari

Duration-Aware Pause Insertion Using Pre-Trained Language Model for Multi-Speaker Text-To-Speech

• DOI: 10.1109/icassp49357.2023.10096402
• 发表时间: 2023-02
• 期刊: ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: D. Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;H. Saruwatari

Pause Prediction Using BERT-based Features for Long-form Text-to-speech Synthesis

使用基于 BERT 的特征进行长格式文本到语音合成的暂停预测

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋;楊 棟，郡山 知樹，猿渡 洋
• 通讯作者: 楊 棟，郡山 知樹，猿渡 洋

Sequence-to-Sequence Learning for Deep Gaussian Process Based Speech Synthesis Using Self-Attention GP Layer

• DOI: 10.21437/interspeech.2021-896
• 发表时间: 2021-08
• 作者: Taiki Nakamura;Tomoki Koriyama;H. Saruwatari

深層ガウス過程音声合成における畳み込み・self-attention・リカレント構造の評価

深度高斯过程语音合成中卷积、自注意力和循环结构的评估

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋
• 通讯作者: 中村 泰貴，郡山 知樹，猿渡 洋