Speech Processing Based on Deep Gaussian Process With Stochastic Differential Equation Layers

基于随机微分方程层深度高斯过程的语音处理

• 批准号: 21K11955
• 负责人: 郡山 知樹
• 金额: $ 2.66万
• 依托单位: CyberAgent, Inc. AI tech studio AI Lab (2022)The University of Tokyo (2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11955/
• 关键词: 機械学習; 深層学習; 長文音声合成; ガウス過程; 微分方程式; Neural ODE; 音声合成; 音声情報処理

近年主流となっている深層ニューラルネットワーク(Deep neural network, DNN)に基づく音声情報処理は，大量の音声データを用いて大量のパラメータを学習する手法である．しかし，音声は言語・方言や話者，話し方や周囲の環境など多様性が非常に高いため，あらゆる音声を収録することは非常に困難である．そのため，例えば収録音声を十分に用意できない話者の音声を生成するone-shot音声合成のように，大量のパラメータを用いることに適さない音声情報処理が多く存在する．そこで本研究の目的は，少量のパラメータであっても複雑な関数を表現可能である，層の微分方程式表現を用いたいわゆる無限層の深層学習に基づく音声情報処理，特に音声合成における有効性を調査することである．今年度は，深層ガウス過程に基づく音声合成における畳み込み層の有効性を示した．これによって，DNNと同様の機能を持つ層を，より性能の高いDGPでも実現できることを示した．また，時間的な連続性を表現するための前段階として，長文音声合成の基盤作成を行った．具体的には，長文の中で知覚的な影響の大きいポーズを，事前学習済み言語モデルを用いて予測する手法を提案し，より自然な長文音声合成を実現することに成功した．この成果により，テキストと音声の時間軸方向の伸縮を適切に行うことの重要性が明らかになり，層の深層方向および時間軸方向のモデル化への指針が示された．

In recent years, the main stream of information is that there is a lot of information about the sound and emotion of Deep neural network, DNN, and so on. In recent years, a large number of people have used a lot of equipment to learn how to do it. In recent years, they have used a lot of information, and in the dialect of words and phrases, the environment is very high-quality. The sound is very difficult, the sound is very poor, the sound is very serious, for example, the sound is very intentional, the voice of the person is very intentional, the synthesis of one-shot sound is generated, and a large number of people use it to make sense of the sound. A small number of copies of the data show that it is possible to use the differential equation to show that it is possible to use the differential equation to learn the meaning of sound and sound. This year, in the course of this year, there are significant differences in the process of sound synthesis. The same machine of the DNN machine can maintain the performance, and the performance of the DGP system will show that the performance of the computer will show that there is a problem in the front segment of the clock, and the sound synthesis of the long text will be made into a line. For a specific example, the movie that is known to you in the long text will lead to an error, and you will learn in advance that the speech will be used in advance to make a proposal. The sound synthesis of natural long text shows that the sound is successful. The results are good, the sound time is extended, the line is important, the importance is clear, the direction is deep, the direction is time, and the direction is clear.

项目成果

More differentiated pause insertion for phoneme-based multi-speaker TTS models

基于音素的多说话人 TTS 模型的更差异化的暂停插入

• 发表时间: 2023
• 作者: Dong Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;Hiroshi Saruwatari
• 通讯作者: Hiroshi Saruwatari

Duration-Aware Pause Insertion Using Pre-Trained Language Model for Multi-Speaker Text-To-Speech

• DOI: 10.1109/icassp49357.2023.10096402
• 发表时间: 2023-02
• 期刊: ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: D. Yang;Tomoki Koriyama;Yuki Saito;Takaaki Saeki;Detai Xin;H. Saruwatari

Pause Prediction Using BERT-based Features for Long-form Text-to-speech Synthesis

使用基于 BERT 的特征进行长格式文本到语音合成的暂停预测

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋;楊 棟，郡山 知樹，猿渡 洋
• 通讯作者: 楊 棟，郡山 知樹，猿渡 洋

Sequence-to-Sequence Learning for Deep Gaussian Process Based Speech Synthesis Using Self-Attention GP Layer

• DOI: 10.21437/interspeech.2021-896
• 发表时间: 2021-08
• 作者: Taiki Nakamura;Tomoki Koriyama;H. Saruwatari

深層ガウス過程音声合成における畳み込み・self-attention・リカレント構造の評価

深度高斯过程语音合成中卷积、自注意力和循环结构的评估

• 发表时间: 2022
• 作者: 楊 棟，郡山 知樹，齋藤 佑樹，佐伯 高明，辛 徳泰;猿渡 洋;中村 泰貴，郡山 知樹，猿渡 洋
• 通讯作者: 中村 泰貴，郡山 知樹，猿渡 洋