人間のジェスチャの意図を選択的に理解するヒューマンインタフェースシステム

点击翻译按钮获取中文摘要

本研究では,ジェスチャによりロボットに指令を送ることのできるシステムを検討した.具体的には以下の2点について研究を行った.1.人間の手による指示のジェスチャを認識するわけだが,人間の手は意識しないでもいろいろと動いている.その動きの中から指示ジェスチャだけを選択的に認識するために,他の無意識的な非言語的行動の情報の利用を検討した.実際に検討したのは顔の向きである.ロボットに指令を送る際は人間はロボットの方を向いて指示を送るのが自然と考えられる.従って,人間の顔の向きを求め,それがロボットを向いている際の手の動きだけを指示のジェスチャとして認識するようにした.実際に手の指示した方向に動く小型移動ロボットシステムを開発し,それを用いた実験で有効性を確認した.2.ロボットの方が人間の指示を完全に理解できればよいが,うまくいかないこともある.従来は,そうなるとロボットの作業が続行できなかった.そこで,そのような場合には,ロボットの方から何が分かって何が分からないのか,現在の自分の状況を人間に伝えて,人間から助言をもらい作業を続けられないかと考えた.これを人間に負担なく行うために,人間とロボットの双方が音声言語とジェスチャで情報を伝え合う方式を検討した.具体的には人間が手で指し示すジェスチャと音声で指示した物体をとってくるロボットを開発した.ロボットは指示された物体が視覚で認識できないときに人間に音声と行動で知らせる.そして,人間からジェスチャと音声で認識の失敗を回復するための情報を得る.この言語と非言語的行動の両者を用いた対話により,多様な状況で作業を完遂できるロボットシステムが実現できた.