说话人噪声对抗机理研究与窄带语音噪声自适应可懂度增强技术
项目介绍
AI项目解读
基本信息
- 批准号:61801334
- 项目类别:青年科学基金项目
- 资助金额:26.0万
- 负责人:
- 依托单位:
- 学科分类:F0117.多媒体信息处理
- 结题年份:2021
- 批准年份:2018
- 项目状态:已结题
- 起止时间:2019-01-01 至2021-12-31
- 项目参与者:李罡; 张韦韪; 宋麟; 张锐; 程枫; 孟恋;
- 关键词:
项目摘要
The research on anti-noise techniques during listening has been going on for many years. The handset and the earphone are the most common listening modes. The adaptive noise cancellation scheme for earphones has achieved good anti-noise effect. However, in the handset mode, the feedback microphone of the adaptive filter is in a complex environment. So the feedback loop is destroyed and the performance of the noise reduction is reduced dramatically. This project studies on acoustical model-based speech intelligibility enhancement (IENH) technology, which is unconstrained from the listening mode, especially suitable for the handset mode. Existing enhanced system are based on environmental non-adaptive model or masking model. The anti-noise effect of the system is unstable under different scenes. Our acoustic model is constructed by the natural mechanism of speaker's adaptive anti-noise vocalization to improve the anti-noise stability in the diversified scenes. To solve the problem of the low precision of all pole parameter conversion in IENH process, the radial basis function neural networks are introduced to improve the conversion accuracy. Aiming at the distortion of the key parameters of the narrowband speech signal in the actual communication, the auditory perception weighted deep neural networks are used to reconstruct perceptual distortion free spectral tilt for reducing the calculation error of parameters. Compared with existing algorithms, this project is expected to improve speech intelligibility by 10%, improve listening comfort by 10%, and reduce the narrowband signal perception error by 10%.
针对电话接听中环境噪声干扰的抗噪技术研究已有多年历史。听筒、耳机作为最常见的接听模式;适用于耳机的噪声自适应抵消方案已获得了良好的抗噪效果;但听筒模式下,自适应滤波器的反馈麦克风暴露于复杂环境中,反馈回路遭到破坏,抗噪性能急剧下降。本课题研究基于语音声学特性修正的语音可懂度增强技术,不受接听模式约束,尤其适用听筒模式。针对基于环境非适应模型和掩蔽模型的增强系统在不同场景下抗噪效果稳定性欠佳的问题,引入说话人的环境自适应噪声对抗自然机理构建声学模型,改善多样化场景下的抗噪稳定性;针对抗噪语音生成算法中全极点参数转换精度不足的问题,引入径向基转换网络,提升转换准确度;针对实际通信中窄带语音信号频谱倾斜度这一关键参数的失真问题,引入听觉感知加权的深度网络进行频谱倾斜度感知无失真重建,降低参数计算误差。较现有算法,本研究预期提升语音可懂度10%,提升听音舒适度10%,降低窄带信号感知误差10%。
结项摘要
在复杂多变的环境之中进行语音通信,随之带来一个困扰通信质量的棘手问题——环境噪声。在环境噪声的干扰下,虽然拥有高效移动通信网络保证传输质量,但糟糕的终端通话体验使通信质量仍旧难以保证,环境噪声成为了困扰移动语音通信质量的罪魁祸首。如何提高环境噪声干扰下的语音质量,成为提高移动语音通信质量的新关键。.本项目首先针对现有语音可懂度增强系统的声学模型场景适应性不足的问题,使用无监督机器学习算法根据不同场景数据集的人体噪声对抗发声模型,构建多样化环境下的噪声对抗发声模型集合。为了适用于手机等低性能设备,将深度学习方法与数字信号处理方法相结合,首先适用深度神经网络将普通语音信号特征参数映射为Lombard语音信号特征参数,再使用数字信号处理方法进行特定共振峰和频谱谐波的增强,测试结果表明本方法在较项目申请书中的对比算法获得了明显的性能提升。.其次,进行较为全面的基于全极点参数转换模型的语音可懂度增强方法合理性验证,证明了利用频谱倾斜度调整语音频谱包络的方式可以使语音具备较显著的Lombard特性,并较大幅度的提升语音可懂度。此外,现有频谱倾斜度重建方法未考虑语音信号的短时相关性,重建过程仅根据当前帧的信息,针对当前帧的信息不够全面导致重建的频谱倾斜度不够准确的缺陷,设计了考虑语音短时相关性的频谱倾斜度重建方法,并利用循环神经网络来捕获一段时间内的语音关联信息,测试结果表明本方法较主流方法重建误差降低了20%左右。.在已有全极点参数转换模型的成果基础上,本项目进一步研究Lombard效应的表达机理,结合人耳的感知敏感特性,探求声学特征表达更完备的语音特征转换方法。根据声音转换任务的相关研究和语音可懂度增强任务的自身特性,本课题提出了基于声码器的频谱倾斜度、基频、非周期成分三种特性同时调整的可懂度增强方法。实验结果表明,8 kHz语音条件下,频谱倾斜度映射误差较代表性方法降低11%以上,16kHz语音条件下,频谱倾斜度映射误差较代表性方法降低12%以上。
项目成果
期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(3)
专利数量(3)
A mapping model of spectral tilt in normal-to-Lombard speech conversion for intelligibility enhancement
用于增强清晰度的普通到伦巴第语音转换中的频谱倾斜映射模型
- DOI:10.1007/s11042-020-08838-1
- 发表时间:2020-03
- 期刊:Multimedia Tools and Applications
- 影响因子:3.6
- 作者:Li Gang;Hu Ruimin;Zhang Rui;Wang Xiaochen
- 通讯作者:Wang Xiaochen
Intelligibility Enhancement Via Normal-to-Lombard Speech Conversion With Long Short-Term Memory Network and Bayesian Gaussian Mixture Model
通过使用长短期记忆网络和贝叶斯高斯混合模型的普通到伦巴底语音转换来增强清晰度
- DOI:10.1109/tmm.2021.3068565
- 发表时间:2021
- 期刊:IEEE Transactions on Multimedia
- 影响因子:7.3
- 作者:Li Gang;Wang Xiaochen;Hu Ruimin;Zhang Huyin;Ke Shanfa
- 通讯作者:Ke Shanfa
A near-end listening enhancement system by RNN-based noise cancellation and speech modification
基于 RNN 的噪声消除和语音修改的近端听力增强系统
- DOI:10.1007/s11042-018-6947-8
- 发表时间:2019
- 期刊:Multimedia Tools and Applications
- 影响因子:3.6
- 作者:Li Gang;Hu Ruimin;Wang Xiaochen;Zhang Rui
- 通讯作者:Zhang Rui
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--"}}
- 发表时间:{{ item.publish_year || "--" }}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--"}}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:{{ item.authors }}
数据更新时间:{{ patent.updateTime }}
其他文献
西北区东部春季降水及其水汽输送
- DOI:--
- 发表时间:--
- 期刊:高原气象,2006,25(2): 285~292
- 影响因子:--
- 作者:任宏利;张培群;李维京;高丽
- 通讯作者:高丽
基于投资者关系的投资者行为国外理论研究综述
- DOI:--
- 发表时间:--
- 期刊:《管理学报》
- 影响因子:--
- 作者:卞娜;高丽;马连福
- 通讯作者:马连福
金融风险决策中的主被动选择偏好研究——从情感体验的视角
- DOI:--
- 发表时间:2016
- 期刊:管理科学学报
- 影响因子:--
- 作者:潘煜;徐四华;方卓;范静;高丽;方汉明;饶恒毅
- 通讯作者:饶恒毅
变革型领导对科研人员创新绩效的影响
- DOI:--
- 发表时间:2013
- 期刊:人类工效学
- 影响因子:--
- 作者:时勘;高丽;曲如杰;陆佳芳
- 通讯作者:陆佳芳
网络社群的凝聚力与活跃度提升研究:品牌与信任的角度
- DOI:--
- 发表时间:2017
- 期刊:系统管理学报
- 影响因子:--
- 作者:万岩;范静;高锦萍;高丽
- 通讯作者:高丽
其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:{{ item.doi || "--" }}
- 发表时间:{{ item.publish_year || "--"}}
- 期刊:{{ item.journal_name }}
- 影响因子:{{ item.factor || "--" }}
- 作者:{{ item.authors }}
- 通讯作者:{{ item.author }}

内容获取失败,请点击重试

查看分析示例
此项目为已结题,我已根据课题信息分析并撰写以下内容,帮您拓宽课题思路:
AI项目摘要
AI项目思路
AI技术路线图

请为本次AI项目解读的内容对您的实用性打分
非常不实用
非常实用
1
2
3
4
5
6
7
8
9
10
您认为此功能如何分析更能满足您的需求,请填写您的反馈:
相似国自然基金
{{ item.name }}
- 批准号:{{ item.ratify_no }}
- 批准年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}
相似海外基金
{{
item.name }}
{{ item.translate_name }}
- 批准号:{{ item.ratify_no }}
- 财政年份:{{ item.approval_year }}
- 资助金额:{{ item.support_num }}
- 项目类别:{{ item.project_type }}