画像情報を利用した高い雑音下での音声認識に関する研究

基于图像信息的高噪声下语音识别研究

• 批准号: 09878069
• 负责人: 小西 亮介
• 金额: $ 1.02万
• 依托单位: Tottori University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 1998
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09878069/
• 关键词: 音声認識; 高雑音環境; 唇形状抽出; 動的輪郭モデル; HMM; 高雅音; ニューラルネットワーク

音声認識の研究は各所で精力的に行われ,その結果不特定話者が話す単語を高い確率で認識できるようになった.現在は不特定話者が話す連続音声を良好に認識する手法について検討が進んでいる.しかしこれらの良好な結果は周囲に雑音の少ない比較的良好な環境で得られるもので,高い雑音が存在する環境では認識率は急激に減少してしまう.このため,スペクトルサブトラクション法やそれを改良した手法,あるいは最小平均2乗誤差推定法などが提案され,ある程度定常的な雑音に対する効果が確認されている.しかし,これらの手法によっても非定常な雑音やパワーの大きな雑音に対しては音声認識性能は大幅に低下してしまう.本研究計画では唇形状の時間変化を実時間で取り込み,これを音声認識のための補助的な情報として取り入れることにより,高い雑音下での音声認識率を向上させる新しい手法について検討を加えた.具体的には,(1)高速で唇形状の変化を取り入れるための画像処理手法,(2)音声に基づく認識候補と唇形状の時間変化を表す画像データに基づき得られた認識候補を統合するための手法,について検討を加え,それぞれについて,(1)振動項を付加した新しい動的輪郭モデル,(2)主成分分析手法に基づく新しい統合手法を考案した.そしてこれらの新しい手法を取り入れることにより,短時間で認識処理が可能な音声認識システムを構築した.構築されたシステムによると認識率は高い雑音下においても80%程度の認識率を達成することが可能であり,その認識に要する時間はおおよそ20秒程度と大変高速なものが実現された.今後は本研究計画により得られた成果をもとに,画像情報に基づくワードスポッティング手法の確立,ならびに認識手法やクラスタリング手法の改良による,より高い認識率を持つ単語認識システムの開発について検討を加える必要がある.

The study of sound recognition is based on the study of different kinds of energy, and the results are not specific to the speaker. Now, there is no specific speaker, and even the sound of the voice is well understood. Good results, low noise, low The method of least mean square error estimation is proposed to confirm the effect of constant noise. The acoustic recognition performance of the acoustic system is greatly reduced. This research plan is to select the time of lip shape change and the time of lip shape change, so as to obtain the information of sound recognition and supplement, and to increase the sound recognition rate under high and middle tones. Specifically,(1) high-speed lip shape transformation and acquisition of image processing techniques,(2) sound base recognition candidate and lip shape time transformation and expression of image,(3) sound base recognition candidate and integration of image,(4) vibration term,(5) vibration term,(6) vibration term,(7) vibration term,(8) vibration term,(9) vibration term,(2) Principal component analysis method is a new method to investigate the case. The new method is adopted in a short time to recognize and process the sound recognition system. The recognition rate of the construction is high, the recognition rate is 80%, and the recognition time is high. In the future, we will continue to improve the recognition rate of image information, establish the basic recognition method and improve the recognition method.

项目成果

新地 俊幹: "画像情報と音声情報を併用した単語認識システムの構築について" 電子情報通信学会 技術研究報告.CAS18・66. 37-44 (1999)

Toshiki Shinchi：“使用图像信息和音频信息的单词识别系统的构建” IEICE 技术研究报告 37-44 (1999)。

新地俊幹: "動的輪郭モデルによる唇形状抽出とその母音認識への応用について" 電子情報通信学会第12回ディジタル信号処理シンポジウム講演論文集. 43-48 (1997)

Toshiki Shinchi：“使用动态轮廓模型进行唇形提取及其在元音识别中的应用”第 12 届电子信息通信工程师学会数字信号处理研讨会论文集 43-48（1997 年）。

菅原一孔: "振動項を持つ動的輪郭モデル" 電子情報通信学会論文誌. J80-DII・12. 3232-3235 (1997)

Kazunori Sukawara：“带有振动项的动态轮廓模型”电子信息通信工程师学会学报 J80-DII・12（1997）。

新地 俊幹: "動的輪郭モデルによる唇形状抽出とその母音認識への応用について" 電子情報通信学会第12回ディジタル信号処理シンポジウム講演論文集. 43-48 (1997)

Toshiki Shinchi：“使用动态轮廓模型进行唇形提取及其在元音识别中的应用”第 12 届电子信息通信工程师学会数字信号处理研讨会论文集 43-48（1997 年）。

Toshimi Shinchi: "Vowel Recognition Aceording to Lip Shapes by Using Neural Network" Prec.of 1998 IEEE International Joint Conference on Neural Networks.(未定). (1998)

Toshimi Shinchi：“Vowel Recognition Aceording to Lip Shapes by Use Neural Network”Prec.of 1998 IEEE International Joint Conference on Neural Networks（待定）。