多元ジェスチャー辞書を利用した日本語・ジェスチャー間相互翻訳システム

点击翻译按钮获取中文摘要

多非音声(ノンバーバル)言語を人と機械のインタフェース言語として導入するための研究の一環として手話を含むジェスチャーと日本語の間の相互翻訳をコンピュータで行うためのいくつかの研究を実施した。1.インタフェース言語としてのジェスチャーの有効性を検討するために,コンピュータで多用されるデスクトップ画面を対象としてオブジェクトを日常的事物のメタファで表現し,それを各メタファより類推可能なジェスチャーで操作できるシステムを試作した.実験による評価を行った結果,採用するジェスチャーが適切でジェスチャー認識が確実になれば非常に自然なインタフェースを実現可能となることが示された.2.手話の時空間構造の分析を行い,ジェスチャーや手話のセグメンテーションと認識,日本語との間の翻訳に必要な情報を得た.特に手話の静止区間がセグメンテーションや手話表示に活用可能なことが判明した.3.両手によるジェスチャーと手話のトラッキングを行うシステムをDataGloveを用いて構築した.4.DataGloveからのジェスチャー入力を前提とする手形状コードを作成し,3.のシステムで得られるジェスチャーと手話がコーディング可能なことを確認した.またこのコード列とそれの意味(日本語)をデータとするジェスチャー辞書を試作し,コード列から日本語へ,また日本語からコード列への変換が原理的に可能なことを示した.本辞書は他にジェスチャーの身体座標表現,画像表現を含むように拡張可能であるという意味で多元的である。5.簡単な手話文を日本語の単語例に翻訳可能なことを確認した.6.今後は,辞書の語彙を増やすとともに,ジェスチャー・コードの補強,日本語処理の実施,手話の画像表現の完成などを課題とする研究を行い,日本語からジェスチャー・手話への翻訳も試みる所存である.