個人適応能力を有する高次マルチモーダルユーザインタフェースに関する研究

具有个体适应性的高阶多模态用户界面研究

• 批准号: 14019071
• 负责人: 谷口 倫一郎
• 金额: $ 2.69万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14019071/
• 关键词: ユーザインタフェース; インタラクション; ビジュアルインタフェース; 身体動作計測; アフォーダンス; コンピュータビジョン; ジェスチャー

本研究では,直接的な3次元動作入力を基にした仮想環境とのインタラクションを実現するための要素技術として画像認識による非接触な3次元身体動作の計測手法を開発し利用した.非接触での身体動作の計測は,効率やそのスマートさから仮想空間と実空間とのシームレス化に重要である.しかしカメラを用いて動作計測を行う場合,身体動作を精度よく推定することが一般に困難な課題であり,詳細な動作を長時間安定に推定するための手法の開発がまず必要となる.そこで本研究では,比較的安定に推定可能な手や顔の動作情報のみを計測し,身体動作を再現するための姿勢推定を自動的に行うアプローチにより,リアルな身体動作を仮想空間上に生成することを目指した.また,仮想空間と実空間での円滑なインタラクションを遂行するために,計測した身体動作の入力をもとにユーザの本来意図した動作を適切に再現するための誘発型ユーザインタフェースの枠組みについても検討した.インタラクションを円滑に行うために,実世界において扱われるアフォーダンスの概念を仮想空間上へ応用する.環境に相当する仮想空間において,オブジェクト(仮想物体)が,人間に相当するアバター(人体モデル)に対し意味・価値のある情報,ここでは動作情報をアフォードするという捉え方である.つまり,仮想空間に存在する様々なオブジェクトにアバターの動作に関連する情報を事前情報として定義しておき,アバターの動作や他のオブジェクトとの関係に応じてアフォードされた動作候補の中から適切なものをピックアップすることで,リアルな動作を生成することができる.

This study aims to explore the application of direct 3-D motion measurement techniques based on environmental factors and non-contact 3-D body motion measurement techniques. The measurement of non-contact body movements is important for efficiency and space. In the case of motion measurement, it is necessary to estimate the accuracy of body motion in general and difficult problems, and to estimate the stability of detailed motion for a long time. In this study, we compared the possibility of stable estimation with the measurement of motion information of hand and face, and the automatic generation of posture estimation with the reproduction of body motion. In addition to the above, we can measure the force of body movement and the original intention of body movement. The concept of "space" is to be used in the world. The environment corresponds to the ideal space, the ideal object, the human body, the meaning, the value, the action information, and the direction. The information related to the action of the missing person in the thought space is pre-defined, the action of the missing person is related to the relationship between the information and the action candidate.

项目成果

米元聡, 谷口 倫一郎: "A Direct Manipulation Interface with Vision-based Human Figure Control"Proc. HCI International 2003. (発表予定). (2003)

Satoshi Yonemoto、Rinichiro Taniguchi：“基于视觉的人体图形控制的直接操纵界面”Proc. HCI International 2003。（待提交）。

石井繁範, 有田大作, 谷口倫一郎: "Real-time Head Pose Estimation With Stereo Vision"Proc. 9th Korea-Japan Joint Workshop on Frontiers of Computer Vision(FCV2003). 79-83 (2003)

Shigenori Ishii、Daisaku Arita、Rinichiro Taniguchi：“立体视觉实时头部姿势估计”Proc。第九届韩日计算机视觉前沿联合研讨会（FCV2003）。

米元聡, 中野裕史, 谷口 倫一郎: "画像認識による身体動作入力にもとづく仮想カメラ視点の制御"インタラクション03. 31-32 (2003)

Satoshi Yonemoto、Hiroshi Nakano、Rinichiro Taniguchi：“使用图像识别基于身体运动输入控制虚拟摄像机视点” Interaction 03. 31-32 (2003)

米元聡, 谷口 倫一郎: "3次元人体動作の解析・生成による実時間インタラクション実現"画像の認識・理解シンポジウム(MIRU2002). II. 323-328 (2002)

Satoshi Yonemoto、Rinichiro Taniguchi：“通过分析和生成 3D 人体运动实现实时交互”图像识别和理解研讨会 (MIRU2002)。

米元聡, 谷口 倫一郎: "Vision-based 3D Direct Manipulation Interface for Smart Interaction"Proc. of Int. Conf. on Pattern Recognition. II. 655-658 (2002)

Satoshi Yonemoto，Rinichiro Taniguchi：“基于视觉的 3D 直接操作界面”国际模式识别会议。