口形を併用する音声認識と文理解

点击翻译按钮获取中文摘要

本研究は口形を音声認識の一つの有効な情報として用いることにより、音声認識の性能向上を図ろうとするものである。そのため、本年度は以下の各項目について研究を行った。1.ニューロネットワークによる口形併用音声認識母音を発声したときの口形画像および音声特徴を共に同一ニューロネットに入力し、五つの母音の認識実験を行った。特に不特定話者の音声に対して、音声情報のみによる場合の51%の認識率を口形と音声情報を組み合わせることにより79%に向上できた。2.エネルギー関数による口形輪郭の抽出口形輪郭は抽出しにくいことが多い。これは、不十分な輪郭情報しか画像内に存在しないことによる。このようなとき、先験的知識をエネルギー関数の形で表現し、不十分な輪郭情報から輪郭復元を行う正則化プロセスについて考案した。これにより、口紅等をつけない自然な状態のもとで、口形輪郭の抽出が可能となった。また、口唇運動の画像計測の可能性が確かめられた。高雑音下における口形併用音声認識の能力実用化の可能性を探るために、モーターの回転音など高騒音下における口形併用音声認識の能力について研究を行った。この場合、処理の高速化のため口形情報は45度前方からのX-Yトラッカーにより得た。雑音の影響により音声情報のみによる認識の正解率はかなりばらついている。特に、発音が近い単語の認識は強い雑音に乱され、認識がほとんどできない状態になっている。そのような状況において、口唇の画像情報を加味すると認識率の向上がはっきり見られた。