聴覚障害者のための手話・音声・唇動画像同時生成の研究-障害者に優しいヒューマンマシンインタフェースを目指して-

点击翻译按钮获取中文摘要

本研究では,音声・唇動画像と同期した手話の生成を目的とし,HMMに基づく手指動作の学習,生成の検討を行っている.本手法では,一連の動作を基本単位(動作プリミティブ)に分割し,動作プリミティブ毎にHMMを学習する.動作生成時には,生成したい任意の動作を動作プリミティブの列で表し,これに従って動作プリミティブHMMを連結することにより,生成したい動作全体を表すHMMを作成する.この動作HMMから尤度最大基準に基づくパラメータ生成手法により動作パラメータ列を生成し,可視化することによって動作のアニメーションを合成する.まず,動作プリミティブHMMからの動作生成が可能であることを確認するため,モーションキャプチャおよびデータグローブにより腕および手指の動作をそれぞれ収録し,これを学習データとして動作プリミティブHMMの学習を行った.そして,動作プリミティブHMMを連結して学習データと同じ動作を表す動作HMMを作成し,動作の生成を行った.その結果,収録データと同様の自然で滑らかな動作を生成できることを示した.また,学習データとは異なる動作プリミティブの列に対しても自然で滑らかな動作が生成できることを確認し,動作プリミティブを組み合わせることによって収録データとは異なる様々な動作を生成できることを示した.さらに,決定木に基づくコンテキストクラスラリングを応用することにより,学習データに含まれない手指形状も生成できることを示した.