Next-generation audio and speech processing architectures based on deep learning

基于深度学习的下一代音频和语音处理架构

• 批准号: 22H03614
• 负责人: 徳田 恵一
• 金额: $ 11.07万
• 依托单位: Nagoya Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03614/
• 关键词: 深層学習; 音声; 生成モデル

従来型のデジタル信号処理理論は、音声・オーディオ信号処理関連の研究分野における最も根本的な考え方として広く普及・定着しているが、単純なモデル構造による制約のため、その性能には限界があった。本研究では、深層学習に基づいて信号モデルを構成することにより、新しい形の音声信号生成技術を確立し、音声合成、音声符号化、声質変換、更には楽器音等のオーディオ音声信号生成への応用により、その有効性を検証することを目的とする。特に、多視点的・俯瞰的な観点から、音声波形生成に適したモデル構造を探求するとともに、「従来型モデル構造の部分導入」および「学習データ拡張による制御構造の内在化」のふたつのアプローチにより、従来型の音声波形生成手法の利点である「軽量性」、「制御性」を兼ね備えたモデル構造を明らかにすることを目指す。本年度に関しては、多視点的・俯瞰的な観点から、音声生成に適した深層学習モデル構造について検討を進めた。また、応用分野に依存しない形の検討を行い、続いて「音声合成・歌声合成」、「音声符号化」、「声質変換」の3つの主要応用分野に依存した検討を開始した。また、並行して、従来型のモデルの利点である「軽量性」、「制御性」の実現のため、「従来型モデル構造の部分導入」について検討し、微分可能な形の従来型の信号処理モジュールをGPU向きの並列実装することにより、ニューラルネットワークモデルと組み合わせながら、End2endに学習可能な手法を提案し、その有効性を確認した。実装のコア部分についてはオープンソースソフトウェアとして公開した。また、並行して「学習データ拡張による制御構造の内在化」に関しては、いくつかの方式について検討を進め、他手法との比較を行った。

The theory of signal processing of the coming type is divided into the research fields of sound and sound, and the most basic research methods are popularized, fixed, pure, structural and performance constraints. This study aims to establish a new sound signal generation technology for deep learning, sound synthesis, sound symbolization, sound quality conversion, and sound signal generation for sound. Special, multi-viewpoint, overhead, acoustic waveform generation, appropriate structure search,"partial introduction of incoming structure,""internalization of control structure,""quantitative,""control,""preparation,""structural clarity," and so on. This year, we are focusing on multi-viewpoint, multi-viewpoint, multi-viewpoint 3 main categories of "Voice Synthesis·Voice Synthesis","Voice Symbolization","Voice Quality Change","Voice Division Dependence","Voice Division","Voice Division" Dependence "," Dependence "Dependence","Dependence","," Voice Division "," Dependence "," Dependence " The advantages of parallel, non-parallel and non-parallel types of signal processing are discussed in the following sections: "quantitative,""control,""partial introduction of non-parallel structures,""differential," non-parallel and non-parallel types of signal processing,"" non-parallel "and" End2end ". The learning method is proposed and its effectiveness is confirmed. Some of the equipment is not ready to be installed. "Learning to control structure internalization" is related to "learning to control structure internalization," and "learning to control structure internalization."

项目成果

Singing Voice Synthesis Based on a Musical Note Position-Aware Attention Mechanism

• DOI: 10.1109/icassp49357.2023.10095919
• 发表时间: 2022-12
• 期刊: ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
• 作者: Yukiya Hono;Kei Hashimoto;Yoshihiko Nankaku;K. Tokuda

半教師あり学習を用いた階層化生成モデルに基づく日本語 end-to-end 音声合成

基于使用半监督学习的分层生成模型的日语端到端语音合成

• 发表时间: 2022
• 作者: 藤本崇人;橋本佳;南角吉彦;徳田恵一
• 通讯作者: 徳田恵一

自己教師あり学習による特徴抽出器とcoarse-fine変換を用いた少量学習データによる歌声変換

使用特征提取器使用少量训练数据进行歌声转换，使用自监督学习和粗细转换

• 发表时间: 2023
• 作者: 田中琉聖;山田淳司;高木信二 ;橋本佳;南角吉彦;徳田恵一
• 通讯作者: 徳田恵一

微分可能なメルケプストラム合成フィルタを組み込んだend-to-end 音声合成システムの検討

结合可微分梅尔倒谱合成滤波器的端到端语音合成系统的研究

• 发表时间: 2022
• 作者: 吉村建慶;高木信二;中村和寛;大浦圭一郎;法野行哉;橋本佳;南角吉彦;徳田恵一
• 通讯作者: 徳田恵一

発声タイミングのずれを考慮したフレーム駆動型アテンション機構に基づく歌声合成

基于帧驱动注意机制的歌声合成，考虑到声音时序变化

• 发表时间: 2023
• 作者: 西原美玖;法野行哉;橋本佳;南角吉彦;徳田恵一
• 通讯作者: 徳田恵一