Speech Enhancement Network using Perceptual and Physical Mathematical Model

使用感知和物理数学模型的语音增强网络

• 批准号: 21K11953
• 负责人: 杉浦 陽介
• 金额: $ 1.91万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11953/
• 关键词: 音声強調; 雑音除去; 深層学習; 音声合成

本研究は、周囲の騒音レベルが高い環境において、音声のみを高精度に取り出す音声強調技術の開発に取り組むものである。音声強調は音声認識等のあらゆる音声処理の前処理で使われる重要な技術である。ただし、ネットワークの最適化がなされておらず、劣悪な雑音環境下で性能が低下していた。そこで本研究は、人間の発声メカニズム(物理モデル)と知覚メカニズム(知覚モデル)を数理的に深層学習と融合させ、ネットワークの構造および学習機構を改良することで、高精度な音声強調を達成する。2021年度に開発したソースフィルタ理論に基づく音声生成モデルをもとに，子音等の非線形成分を単純な正弦波の変換により表現することができることがわかった。劣悪環境下ではモデルパラメータの推定が非常に困難であるため，データセットの拡充が必須であり，様々な状況を想定した雑音を音声に加算することで入力に含まれるわずかな情報から音声構造を生成する枠組みを開発した。今後は本手法を論文にまとめ，公開すると共に，さらなる性能改善に向けてモデルの改良を行う。

This study is aimed at the development of sound enhancement technology in high precision environment. Sound emphasis, sound recognition, etc. Sound processing and pre-processing are important technologies The performance is low in poor noise environments due to optimization of production. This study aims to achieve the goal of deep learning, fusion, structural improvement and learning mechanism improvement in human speech and sound enhancement with high precision. In 2021, the development of the theory of basic sound generation, sub-sound and other non-linear formation of pure sine wave transformation, performance, etc. It is very difficult to estimate the sound quality in poor environment. It is necessary to determine the sound quality in poor environment. It is necessary to calculate the sound quality in poor environment. It is necessary to generate sound quality in poor environment. In the future, this method will be open to the public, and the performance will be improved.