個人適応能力を有する高次マルチモーダルユーザインタフェースに関する研究

点击翻译按钮获取中文摘要

本研究では,直接的な3次元動作入力を基にした仮想環境とのインタラクションを実現するための要素技術として画像認識による非接触な3次元身体動作の計測手法を開発し利用した.非接触での身体動作の計測は,効率やそのスマートさから仮想空間と実空間とのシームレス化に重要である.しかしカメラを用いて動作計測を行う場合,身体動作を精度よく推定することが一般に困難な課題であり,詳細な動作を長時間安定に推定するための手法の開発がまず必要となる.そこで本研究では,比較的安定に推定可能な手や顔の動作情報のみを計測し,身体動作を再現するための姿勢推定を自動的に行うアプローチにより,リアルな身体動作を仮想空間上に生成することを目指した.また,仮想空間と実空間での円滑なインタラクションを遂行するために,計測した身体動作の入力をもとにユーザの本来意図した動作を適切に再現するための誘発型ユーザインタフェースの枠組みについても検討した.インタラクションを円滑に行うために,実世界において扱われるアフォーダンスの概念を仮想空間上へ応用する.環境に相当する仮想空間において,オブジェクト(仮想物体)が,人間に相当するアバター(人体モデル)に対し意味・価値のある情報,ここでは動作情報をアフォードするという捉え方である.つまり,仮想空間に存在する様々なオブジェクトにアバターの動作に関連する情報を事前情報として定義しておき,アバターの動作や他のオブジェクトとの関係に応じてアフォードされた動作候補の中から適切なものをピックアップすることで,リアルな動作を生成することができる.