Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis.
Speech Intelligibility Prediction using Spectro-Temporal Modulation Analysis.
复制标题
DOI：
10.1109/taslp.2020.3039929
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Fogerty D
中科院分区：
文献类型：
--
作者：
Edraki A;Chan WY;Jensen J;Fogerty D
人类初级听觉皮层中的语音分析被认为是通过频谱-时间调制来实现的。受人类在具有挑战性的声学环境中理解语音的鲁棒性的启发，我们提出了一种侵入式语音可懂度预测（SIP）算法，wSTMI，用于正常听力的听众的基础上的频谱-时间调制分析（STMA）的清洁和退化的语音信号。在STMA中，55个调制频率信道中的每一个都贡献了中间可懂度测量。使用Lasso回归优化参数的稀疏线性模型导致组合SIP的8个最突出通道的中间测量。与一套10种SIP算法相比，wSTMI在13个数据集上表现一致，这些数据集共同涵盖了包括调制噪声、降噪处理、混响、近端收听增强和语音中断在内的降级条件。我们表明，wSTMI的优化参数可以解释在人类听觉系统的调制传递函数。因此，所提出的方法提供了证据，肯定以前的研究的感知特性的语音信号可懂度。
Spectro-temporal modulations are believed to mediate the analysis of speech sounds in the human primary auditory cortex. Inspired by humans’ robustness in comprehending speech in challenging acoustic environments, we propose an intrusive speech intelligibility prediction (SIP) algorithm, wSTMI, for normal-hearing listeners based on spectro-temporal modulation analysis (STMA) of the clean and degraded speech signals. In the STMA, each of 55 modulation frequency channels contributes an intermediate intelligibility measure. A sparse linear model with parameters optimized using Lasso regression results in combining the intermediate measures of 8 of the most salient channels for SIP. In comparison with a suite of 10 SIP algorithms, wSTMI performs consistently well across 13 datasets, which together cover degradation conditions including modulated noise, noise reduction processing, reverberation, near-end listening enhancement, and speech interruption. We show that the optimized parameters of wSTMI may be interpreted in terms of modulation transfer functions of the human auditory system. Thus, the proposed approach offers evidence affirming previous studies of the perceptual characteristics underlying speech signal intelligibility.
登录
查看更多内容
影响因子：
4.3
作者：
Elliott TM;Theunissen FE
通讯作者：
Theunissen FE
影响因子：
2.4
作者：
Gibbs, Bobby E., II;Fogerty, Daniel
通讯作者：
Fogerty, Daniel
影响因子：
2.4
作者：
Chi, TS;Gao, YJ;Shamma, S
通讯作者：
Shamma, S
影响因子：
3.2
作者：
Elhilali, M;Chi, T;Shamma, SA
通讯作者：
Shamma, SA
影响因子：
14.9
作者：
Falk TH;Parsa V;Santos JF;Arehart K;Hazrati O;Huber R;Kates JM;Scollie S
通讯作者：
Scollie S