識別的特徴抽出と確率モデルに基づく多様な環境・発声変動に頑健な音声認識

基于判别特征提取和概率模型的语音识别对不同环境和发声变化具有鲁棒性

• 批准号: 15K16020
• 负责人: 王 龍標
• 金额: $ 2.5万
• 依托单位: Nagaoka University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2015
• 资助国家: 日本
• 起止时间: 2015-04-01 至 2017-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15K16020/
• 关键词: 音声認識; 深層学習; 特徴適応

本研究は、多様な発話環境・発話スタイル・発話アクセントの音声に対して、環境・発声変動を正規化しながら識別的特徴抽出と確率モデルを一体化する高精度な音声認識法を研究した。具体的には、平成27年度に、（１）多様な環境・発声様式による英語音声データベースの整備、（２）深層学習（Deep Learning）による環境・発声変動の除去・識別的特徴変換の同時最適化に基づく識別的特徴抽出、（３）多様な環境・発話変動などの音声認識への悪影響を軽減するPLDA（確率的線形判別分析）-HMMによる音声認識、を行った。平成28年度では、（１）雑音環境におけるマルチチャンネル特徴適応、（２）アクセントが強い非母国語話者の発話に頑健な音声認識、を行った。（１）について、悪環境下での音声認識率（単語正解精度）を従来の60％程度から実用化レベルの80％を超えた。（２）について、非母国語話者の音声認識の精度改善を目的とし、非母国語話者に対応した音響モデル学習の手法と、深層学習による特徴量変換の手法を提案した。非母国語話者の音声認識は低リソースの条件であるため、音響モデルとして部分空間混合ガウスモデル（SGMM）を利用した。さらにSGMMは異なる種類の音声を学習データとして複数用いた場合に、その差を考慮した学習が可能であるため、母国語話者の音声と非母国語話者の音声の両方を利用する学習方法（cross-accent SGMM）を提案した。また、深層学習を特徴量変換器として利用する手法を提案した。これらの手法について非母国語話者の音声認識実験において評価を行い、認識精度を大幅に改善した。

In this study, multi-language, multi-language, multi-language, Specific environmental training, Pingcheng 27, (1) multi-environmental sound training equipment, (2) Deep Learning environmental sound training equipment, (2) in-depth learning (Pingcheng) environmental sound training equipment, (2) removal of specific environmental sound training equipment, (2) removal of specific environmental sound training equipment, (2) removal of specific environmental sound equipment, (3) Multi-environmental voice communication, sound recognition, PLDA (shape discrimination analysis of confirmation rate)-HMM voice recognition and sound recognition. In Pingcheng 28, (1) the sound environment, (1) the sound environment, (2) the voice of those who are not home countries, and (2) the voice of those who are not in their home country. (1) the accuracy (accuracy) of sound and sound in the environment is 60% higher than that of 80% in the environment. (2) to improve the accuracy of sound, to improve the accuracy of sound, to improve the accuracy, to improve the accuracy, to improve the Non-home country customers are aware of the use of SGMM in space mixing equipment and audio equipment in some parts of the world. In the field of acoustics and acoustics in SGMM countries, the complex data are analyzed in terms of the number of errors, the number of errors that may be detected, the sound of people who are not home countries, and the sound of people who are not in their home country. The party uses the learning method (cross-accent SGMM) to make a proposal. In-depth study of special measurement equipment and the use of techniques to propose proposals. The voice of those who are not in their home country has been greatly improved.

项目成果

DNN-Based Amplitude and Phase Feature Enhancement for Noise Robust Speaker Identification

• DOI: 10.21437/interspeech.2016-717
• 发表时间: 2016-09
• 作者: Zeyan Oo;Yuta Kawakami;Longbiao Wang;S. Nakagawa;Xiong Xiao;M. Iwahashi

南洋理工大学/Institute for Infocomm Research(シンガポール)

南洋理工大学/信息通信研究所（新加坡）

Robust speech recognition using beamforming with adaptive microphone gains and multichannel noise reduction

• DOI: 10.1109/asru.2015.7404831
• 发表时间: 2015-12
• 期刊: 2015 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU)
• 作者: Shengkui Zhao;Xiong Xiao;Zhaofeng Zhang;Thi Ngoc Tho Nguyen;X. Zhong;Bo Ren;Longbiao Wang;Douglas L. Jones;Chng Eng Siong;Haizhou Li

Relative phase information for detecting human speech and spoofed speech

• DOI: 10.21437/interspeech.2015-473
• 发表时间: 2015
• 作者: Longbiao Wang;Yohei Yoshida;Yuta Kawakami;S. Nakagawa

Distant-talking accent recognition by combining GMM and DNN

• DOI: 10.1007/s11042-015-2935-4
• 发表时间: 2015-09
• 期刊: Multimedia Tools and Applications
• 影响因子: 3.6
• 作者: Khomdet Phapatanaburi;Longbiao Wang;Ryota Sakagami;Zhaofeng Zhang;Ximin Li;M. Iwahashi