多元ジェスチャー辞書を利用した日本語・ジェスチャー間相互翻訳システム

点击翻译按钮获取中文摘要

手話を含むジェスチャーと日本語の間の相互翻訳をコンピュータによって行うための基礎的研究を継続して行い,いくつかの成果を得るとともに,新たな課題を設定してシステム開発までの距離を詰めることができた。1.手話の統語構造に関する分析を行い,日本語から省略して表現される助詞の類型化を試みた。2.日本語文を構文解析し,1.の結果に基づく不要な助詞の除去と基本形への変換を行った後に,ジェスチャー辞書を検索して対応する手話コード(既開発)を求めるソフトウェアを開発した。3.既に開発したジェスチャー辞書の構造を再検討し,手話辞書に特化した場合の効率向上のための手法をいくつか提案した。またこの手法を導入して手話辞書を構築した。特にコード間の距離を定義して,入力された手形状にある程度のあいまいさが存在していても辞書検索が可能なようにした。4.日本語入力に対して,手話を画像として生成する部分を構築した。手話画像は2.の手話コードから規則合成によって求め,さらに画像間の動きを補間法で作成し,最終的に手話アニメーションとして表示するものである。この手法で複数の文を表現し,聴覚障害者らによる評価実験を行い,手話語の認識率として85%を得た。5.手話画像に口話を加えるために,発話に伴う口形変化を分析して簡単な3次元モデルを作成し,これを4.の手話画像に取り入れた。自然な口形変化を表示するのが今後の課題である。目標としていた一応の成果を挙げることができ,基礎的研究を終えた。今後は,さらに辞書の語彙を増やすとともに,不足しているジェスチャー・コードの補完,自然な手話画像の規則合成などに取組み,システムの開発研究の段階に進む予定である。