日本手話発話中の話者の顔表情に表れる言語情報の画像認識とその手話認識への応用

点击翻译按钮获取中文摘要

自然な日本手話会話映像を得るため、手話者の上半身を撮影可能なプロンプター状装置を一作年度、設計・試作した。その装置で、ろう者(手話を日常話す人のことを、ここでは「ろう者」と呼んでいる)二人の対話記録を試み、それを基に装置の改善を引き続き行った。その装置で得られた手話発話ビデオ映像の他、市販のろう者のビデオ映像中から、自然な手話会話を行っていると思われる部分を人手で調査・選別し、それらを素材として用い、画像中の手話者の顔を追跡し、顔の部品(眉、目、口)の相対的位置、形状、動きの時間変化を自動的に取得する方法の探索を引き続き行った。具体的手法としては、色情報、動き情報に基づくテンプレートマッチング、DPマッチング、オプティカルフロー等を試みた。また、並行して、WWWサイトの「手話認識研究ポータルサイト」の作成、運営を行うことにより、手話やジェスチャの機械認識の世界的な研究動向についての情報提供を続けた。