权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

視覚による表情変化の実時間認識とその読唇への応用

面部表情变化的视觉实时识别及其在唇读中的应用

基本信息

批准号：
06212203
负责人：
井上博允
金额：
$ 1.02万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1994
资助国家：
日本
起止时间：
1994 至无数据
项目状态：
已结题

项目摘要

本年度の研究では,昨年度まで行なってきた相関値による顔の確認の応用として,読唇を行なった.処理の原理は,相関値を用いて個々の入力画像を平面上にマッピングし,その(x,y)座標値をニューラルネットの入力として用いて判別を行なった.昨年度の実験から,母音の認識は可能であるとの結果を得ていたが,本年度は,いくつかの子音(b,m,p)の認識と,さらに実時間(ビデオレート)の認識に成功した.実時間化にあたっては,トランスピュータ4台による並列処理を行ない,画像追跡,相関計算,平面配置処理をパイプライン化することで,達成できた.平面配置計算はその内部に反復計算を含むが,より初期値を与えることでその反復回数を大幅に削減できる.処理の高速化によって,口唇の動きを連続的に把握できるようになったため,前回の配置結果を次の初期値とすることで,さらなる高速化が可能になった.また,テンプレートを平面配置した結果として,相互の関係が明らかになるため,類似したテンプレートをはぶくことで,相関値計算も高速化できた.認識精度については,話者や照明条件への依存性が高いものの,母音だけであれば80%程度,子音ひとつを含んだ場合には60%程度の成績を得ている.3年間の研究によって,表情や口唇など不定型な対象の認識に対しては,テンプレートマッチングを拡張した相関値による配置方式が有力となることが示せたと考えている.

This year's research is not the same as last year's. The principle of processing is to use the correlation value to determine the input force of the image on the plane. Last year, the understanding of vowels was possible, and the results were achieved. This year, the understanding of vowels (b,m,p) was achieved, and the understanding of time (b,m,p) was achieved. Time, color, four sets of parallel processing, image tracking, correlation calculation, plane configuration processing, color, color, color. Plane configuration calculation includes internal iterative calculation, initial value and iterative number are greatly reduced. The speed of processing is high, and the movement of lips is continuous. The speed of processing is possible. The result of the plane configuration is that the relationship between them is obvious, similar to that of the plane configuration, and the correlation calculation is accelerated. The accuracy of cognition is relatively high, and the speaker's dependence on illumination conditions is relatively high. The vowel score is 80%, and the consonant score is 60%. During the three years of research, the expression is not stable, and the object cognition is relatively high.