Speech Enhancement Network using Perceptual and Physical Mathematical Model

点击翻译按钮获取中文摘要

本研究は、周囲の騒音レベルが高い環境において、音声のみを高精度に取り出す音声強調技術の開発に取り組むものである。音声強調は音声認識等のあらゆる音声処理の前処理で使われる重要な技術である。ただし、ネットワークの最適化がなされておらず、劣悪な雑音環境下で性能が低下していた。そこで本研究は、人間の発声メカニズム(物理モデル)と知覚メカニズム(知覚モデル)を数理的に深層学習と融合させ、ネットワークの構造および学習機構を改良することで、高精度な音声強調を達成する。2021年度に開発したソースフィルタ理論に基づく音声生成モデルをもとに，子音等の非線形成分を単純な正弦波の変換により表現することができることがわかった。劣悪環境下ではモデルパラメータの推定が非常に困難であるため，データセットの拡充が必須であり，様々な状況を想定した雑音を音声に加算することで入力に含まれるわずかな情報から音声構造を生成する枠組みを開発した。今後は本手法を論文にまとめ，公開すると共に，さらなる性能改善に向けてモデルの改良を行う。