手話における非手指動作の機能の分析とその手話画像への導入効果

点击翻译按钮获取中文摘要

本研究代表者らが研究を進めている日本語・手話相互翻訳システムにおいて日本語から手話への翻訳結果の表示に用いる手話画像の画質は表現される非手指動作によって大きく左右する。これは手話が手指動作のみならず頷き・瞬き・表情・身振りなど身体の多くのモードを駆使して話させるマルチモーダルな言語であることに起因する。非手指動作に関する文法書は存在しないため、中間型手話を話す手話通訳者一人に注目してこの手話通訳者の動作を分析することとした。非手指動作の手話文中での生起箇所と生起確率の分析結果から、大きく分けて頷き・瞬きは文末や主部などの文構造を明示する機能を、その他の非手指動作については意味明示の機能を持つことが推定された。そこで、幾つかの生起ルールを作成し、手話画像の規則合成を行い、手話のわかる被験者を対象にその評価を行った。手話画像の評価では、(画像A)非手指動作なし手話画像(画像B)非手指動作あり手話画像(画像C)手話通訳映像、の三種類の画像を用意し、一文を二回づつ提示して、読み取れた手話単語や読み取れた文章の意味などを答えさせ、併せて主観評価も行わせた。その結果、手話単語の認識率は画像Aで42.6%、画像Bで54.8%、画像Cで62.9%で、手話通訳映像でも約60%で非手指動作あり手話画像と非手指動作なし手話画像の間でに統計的有意差が見られた。これは導入した非手指動作が手話の単語認識に効果があることを示している。しかし主観評価の結果ではいずれの項目においても手話画像は手話通訳映像に及ばず、品質の点ではまだまだ改善の必要があることがわかった。今後はさらに精微な非手指動作の表現が可能となる手話画像の合成を目指したい。