口形を併用する音声認識と文理解

利用口型进行语音识别和句子理解

• 批准号: 63608505
• 负责人: 田村 進一
• 金额: $ 0.83万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1987
• 资助国家: 日本
• 起止时间: 1987 至 1988
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-63608505/
• 关键词: 音声認識; 口形; 聴覚障害者; ニューロネットワーク; 画像処理; 輪郭抽出; 対称性; エネルギー関数

本研究は口形を音声認識の一つの有効な情報として用いることにより、音声認識の性能向上を図ろうとするものである。そのため、本年度は以下の各項目について研究を行った。1.ニューロネットワークによる口形併用音声認識母音を発声したときの口形画像および音声特徴を共に同一ニューロネットに入力し、五つの母音の認識実験を行った。特に不特定話者の音声に対して、音声情報のみによる場合の51%の認識率を口形と音声情報を組み合わせることにより79%に向上できた。2.エネルギー関数による口形輪郭の抽出口形輪郭は抽出しにくいことが多い。これは、不十分な輪郭情報しか画像内に存在しないことによる。このようなとき、先験的知識をエネルギー関数の形で表現し、不十分な輪郭情報から輪郭復元を行う正則化プロセスについて考案した。これにより、口紅等をつけない自然な状態のもとで、口形輪郭の抽出が可能となった。また、口唇運動の画像計測の可能性が確かめられた。高雑音下における口形併用音声認識の能力実用化の可能性を探るために、モーターの回転音など高騒音下における口形併用音声認識の能力について研究を行った。この場合、処理の高速化のため口形情報は45度前方からのX-Yトラッカーにより得た。雑音の影響により音声情報のみによる認識の正解率はかなりばらついている。特に、発音が近い単語の認識は強い雑音に乱され、認識がほとんどできない状態になっている。そのような状況において、口唇の画像情報を加味すると認識率の向上がはっきり見られた。

This study focuses on the information and performance of oral sound recognition. This year, the following projects were carried out. 1. The sound of the mouth and the sound of the vowel are recognized. The sound of the mouth and the sound characteristics are combined into the same sound. The sound of the vowel is recognized. 51% recognition rate of voice and voice information in special cases, 79% recognition rate of voice and voice information in combination 2. There is no such thing as a complete picture. The knowledge of the origin of the information is not very important, but the information of the origin is very important. This is a natural state, a mouth wheel, a possible extraction. The possibility of measuring the motion of lips and lips was confirmed. A study on the possibility of using the ability to recognize oral sounds under high pitched sounds In this case, the processing speed is increased and the mouth shape information is obtained at the front of 45 degrees. The influence of sound on the understanding of sound information Special, sound, close to the language, understanding, strong, sound, confusion, understanding, status, etc. The situation is different, the lips are different, and the recognition rate is higher.