3次元の手指形状推定システムを用いた自然操作インタフェース

点击翻译按钮获取中文摘要

本研究では、3次元手指形状動作(ハンドジェスチャ)の情報入力と出力の2つの基礎技術を提案し、その応用例であるインタフェースのBrainyHandとPossessedHandを主体として研究を行った。この2つの基礎技術と応用例は、今後のハンドジェスチャ情報通信の基盤として研究が行われている。両インタフェースとも、日常生活の動作を妨げない情報入力を目標としている。日常生活では、手指を使って頻繁に物体に触れている。そのため、手指には何も装着しない状態が前提条件となっている。BrainyHandは、ヘッドセット型のハンドジェスチャ入力装置である。BrainyHand上に設置されたカメラを用いて手指の形状と姿勢を推定し、ハンドジェスチャでの入力操作を行う。携帯電話や小型のPCを取り出さずに、日常生活中に瞬時に情報入力を行うことが可能である。応用例として、音楽アプリケーションや指差し情報提示、顔認識技術と組み合わせた知人情報提示のアプリケーションを提案した。PossessedHandは、前腕ベルト型のハンドジェスチャ出力装置である。PossessedHandのベルト上に設置された電極パッドを通して電気刺激を与え、手指の動作につながる前腕の筋肉を収縮させ、ハンドジェスチャを出力する。PossessedHandは使用者の手を直接的に動作させ、ハンドジェスチャの瞬時理解を促す。応用例として、楽器演奏時の補助システムを提案した。本研究では、箏(琴)演奏の補助システムを実装した。演奏時に使用する指の種類や、演奏タイミングを演奏者に伝えることができる。