実世界型インターフェース実現のための実環境モデルの学習

点击翻译按钮获取中文摘要

本研究では、従来型のGUIの枠組みを超えて、行動の主体であるユーザと実世界とのインタラクションを考慮したインターフェース(実世界志向型インターフェース)の実現を目的とする。特に、実世界志向型インターフェース実現のための構成要素である実世界認識およびに実環境モデル学習について必要とされる技術を開発していくことにより、現実空間と電子的空間に存在する両方の情報を拡張現実感技術により有機的に統合しながら、操作主体となる人間にとってより自然な形で必要な情報を得ることを可能とするインターフェースを確立させることを目指している。提案する拡張デスクトップ環境の構成は以下の通りである。赤外線カメラおよびに可視領域カラーカメラ等からの入力画像をもとに、ユーザの行動を理解し、かつ机上に存在する物体を認識する。その結果に基づき、関連する電子的情報を検索し、プロジェクタにより机上に関連情報を重ね込み投影する。また、認識された実物体に関連して、どのような情報が検索されたのかを実環境モデルとして学習していく。このことにより実空間内に散在する情報と電子的情報とが適応的に関連付けられていくことになる。このようにして学習された相互関係は、ユーザに対してより自然なインターフェースを提供するために再利用されていく。このようなシステム構成のもと、以下の項目に関して研究を進め成果を得た。ユーザによるジェスチャ理解およびに実物体の認識結果に基づき、必要とされる電子的情報を検索するための機構を実現した。特に、従来の実世界指向インターフェースでは実在物体をシステムに登録する際にマーカーなどを明示的に付加する必要があったが、本研究ではユーザのジェスチャ認識および色特徴に基づく物体認識にもとづきインタラクティブに物体を登録・検索する枠組みSnapLinkを実現した。さらに、インタラクティブに物体を登録するのみでなく、認識された実物体とそれに関連して検索された電子情報との間の相関関係についても対話的に登録することができる仕組みを実現している。また、実現される拡張デスクトップ環境を用いてユーザ評価実験を行い、実世界型インターフェースとして必要とされる要素を分析した。