人間のジェスチャの意図を選択的に理解するヒューマンインタフェースシステム

一种有选择地理解人类手势意图的人机界面系统

• 批准号: 09221217
• 负责人: 久野 義徳
• 金额: $ 1.22万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-09221217/
• 关键词: コンピュータビジョン; ヒューマンインタフェース; ロボット; ジェスチャ認識; 音声対話; 視線; 非言語的行動; 意図理解

本研究では,ジェスチャによりロボットに指令を送ることのできるシステムを検討した.具体的には以下の2点について研究を行った.1.人間の手による指示のジェスチャを認識するわけだが,人間の手は意識しないでもいろいろと動いている.その動きの中から指示ジェスチャだけを選択的に認識するために,他の無意識的な非言語的行動の情報の利用を検討した.実際に検討したのは顔の向きである.ロボットに指令を送る際は人間はロボットの方を向いて指示を送るのが自然と考えられる.従って,人間の顔の向きを求め,それがロボットを向いている際の手の動きだけを指示のジェスチャとして認識するようにした.実際に手の指示した方向に動く小型移動ロボットシステムを開発し,それを用いた実験で有効性を確認した.2.ロボットの方が人間の指示を完全に理解できればよいが,うまくいかないこともある.従来は,そうなるとロボットの作業が続行できなかった.そこで,そのような場合には,ロボットの方から何が分かって何が分からないのか,現在の自分の状況を人間に伝えて,人間から助言をもらい作業を続けられないかと考えた.これを人間に負担なく行うために,人間とロボットの双方が音声言語とジェスチャで情報を伝え合う方式を検討した.具体的には人間が手で指し示すジェスチャと音声で指示した物体をとってくるロボットを開発した.ロボットは指示された物体が視覚で認識できないときに人間に音声と行動で知らせる.そして,人間からジェスチャと音声で認識の失敗を回復するための情報を得る.この言語と非言語的行動の両者を用いた対話により,多様な状況で作業を完遂できるロボットシステムが実現できた.

This study is to investigate the possible causes of death. The concrete research is carried out in the following two points: 1. The human hand is instructed to understand the human hand, and the human hand is conscious of the human hand. The use of unconscious, non-verbal action information is discussed. In the meantime, I'm going to go to the bathroom. The command is sent to the right side of the room. The command is sent to the right side of the room. The command is sent to the right side of the room. The human face is moving towards the middle of the world, and the hand is moving towards the middle of the world. The direction of movement of the hand is small, and the direction of movement of the hand is small, and the direction of movement of the hand is small. It's not like I'm going to be able to do this. When you're in trouble, you're in trouble. The burden of the world is on both sides of the voice and speech. The concrete is the hand, the sound, the object, the opening. The object is visible, the sound is visible, the action is visible. The world is full of voices and voices, and the world is full of voices. The speech and non-speech actions of the two sides are used to respond to each other, and the various conditions of the work are completed.

项目成果

K.H.Jo, Y.Kuno, and Y.Shirai: "Manipulative hand gesture recognition using task knowledge for human computer interaction" Proc.3rd IEEE International Conference on Face and Gesture Recognition. (発表予定). (1998)

K.H.Jo、Y.Kuno 和 Y.Shirai：“利用任务知识进行人机交互的操控手势识别”Proc.3rd IEEE 国际面部和手势识别会议（即将发表）。

K.H.Jo, Y.Kuno, and Y.Shirai: "Context-based recognition of manipulative hand gestures for human computer interaction" Proc.3rd Asian Conference on Computer Vision. 2. 368-375 (1998)

K.H.Jo、Y.Kuno 和 Y.Shirai：“基于上下文的人机交互操作手势识别”Proc.第三届亚洲计算机视觉会议。

K.Hayashi, Y.Kuno, and Y.Shirai: "Pointing gesture recognition system permitting user's freedom of movement" Proc.Workshop on Perceptual User Interfaces. 16-19 (1997)

K.Hayashi、Y.Kuno 和 Y.Shirai：“允许用户自由移动的指向手势识别系统”Proc.Workshop on 感知用户界面。

Y.Kuno, T.Ishiyama, K.H.Jo, N.Shimada, and Y.Shirai: "Vision-based human interface system selectively recognizing intentional hand gestures" Proc.IASTED Int.Conf.on Computer Graphics and Imaging. (発表予定). (1998)

Y.Kuno、T.Ishiyama、K.H.Jo、N.Shimada 和 Y.Shirai：“基于视觉的人机界面系统选择性地识别有意的手势”Proc.IASTED Int.Conf.on 计算机图形和成像（待提交。 ）（1998）