多重解像度解析を用いた機械学習による音声強調および広帯域化に関する研究

使用多分辨率分析的机器学习语音增强和宽带化研究

• 批准号: 22K12133
• 负责人: 林 誠治
• 金额: $ 2万
• 依托单位: Takushoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12133/
• 关键词: 狭帯域音声の帯域拡張; 多重解像度解析; ウェーブレット; 音声帯強調拡張

狭帯域から広帯域への音声帯域拡張技術は音声としての人間らしさを強調するための手法である一方，音域のバランスを適応的に調整することで高齢になると感じる「聞こえづらさ」といった軽度の難聴問題を解消できる一助になると考えられる．本応募研究では，音声信号の多重解像度解析によって得られる階層型成分で得られる情報から，本来存在しない未知のサブバンド成分をサブバンド間の相関関係を用いて機械学習により推定することを目的に研究を遂行している．これについて，これまで本研究に係る自身の先行研究によって得られた成果をベースとして，どのようにしたら推定精度を向上させることができるか，ということを念頭に研究を進めており，まず，今年度の交付金を使用して新たな研究開発環境のハードウェア(高速なパーソナルコンピュータとGPGPUを搭載したグラフィックボード)とソフトウェア(MATLAB数値解析ソフト)の構築および整備を行った．つぎに，音声帯域拡張技術の実現手法の一つとして，連続音声データベースから音素単位に分解して子音または母音ごとの発声区間を判別し，それぞれの発声区間ごとにラベリング，つまりタグ付けを行う方法で研究を進めている．今後の研究の展開になるが，前述で得られた音素クラスタごとに多重解像度解析を用いた未知成分の推定パラメータを定義・決定し，より高品質な広帯域音声の獲得を目指す方針である．基本アプローチとしては離散ウェーブレット解析(DWT)を用いてDWT分解後のレベル間の相関を利用することで，機械学習を用いた相関係数の算出により，元来人間の肉声が持っていた高域成分および低域成分を疑似的に生成し，狭帯域の音声成分に付加することで広帯域化を図る予定である．

尽管将语音带从狭窄带到宽带扩展的技术是一种强调人类作为声音的技术，但声音范围平衡的自适应调整将有助于解决轻度的听力损失，例如“难以听到”的感觉就像是较老的。进行了这项研究的目的是估算自然界在自然界中不存在的未知子带组件，使用机器学习使用来自从层次组件获得的信息从通过多个音频信号分析获得的分层组件中获得的信息中的相关性。这项研究的目的是如何根据他先前的这项研究中的研究获得的结果来提高估计的准确性。首先，使用今年的赠款，构建和维护了新的研发环境硬件（配备高速个人计算机和GPGPU）和软件（MATLAB数值分析软件）的新研究与开发环境硬件。接下来，作为实现语音频段扩展技术的一种方法，研究是通过分解每个辅音或元音的语音间隔来进行的，通过将它们从连续的语音数据库分解为音素单元，也就是说，标签，标记，标记每个语音间隔。随着我们将进一步的研究，该计划是使用上述每个音素群集的多个分辨率分析来定义和确定未知组件的估计参数，并旨在获取更高质量的宽带语音。基本方法是使用离散的小波分析（DWT）在DWT分解后使用级别之间的相关性，并使用机器学习来计算相关系数，最初由人类声音所拥有的高和低频组件模拟，并通过将它们添加到窄带音频音频组合中来扩展。