実世界型インターフェース実現のための実環境モデルの学習

学习真实环境模型以实现真实世界的界面

• 批准号: 11780298
• 负责人: 佐藤 洋一
• 金额: $ 1.54万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780298/
• 关键词: ヒューマン・コンピュータ・インタラクシ; 実世界志向インターフェース; 動画像処理; 赤外線画像処理; ジェスチャ認識; 人体動作計測; ヒューマン・コンピュータ・インタラクション; 実世界志向型インターフェース

本研究では、従来型のGUIの枠組みを超えて、行動の主体であるユーザと実世界とのインタラクションを考慮したインターフェース(実世界志向型インターフェース)の実現を目的とする。特に、実世界志向型インターフェース実現のための構成要素である実世界認識およびに実環境モデル学習について必要とされる技術を開発していくことにより、現実空間と電子的空間に存在する両方の情報を拡張現実感技術により有機的に統合しながら、操作主体となる人間にとってより自然な形で必要な情報を得ることを可能とするインターフェースを確立させることを目指している。提案する拡張デスクトップ環境の構成は以下の通りである。赤外線カメラおよびに可視領域カラーカメラ等からの入力画像をもとに、ユーザの行動を理解し、かつ机上に存在する物体を認識する。その結果に基づき、関連する電子的情報を検索し、プロジェクタにより机上に関連情報を重ね込み投影する。また、認識された実物体に関連して、どのような情報が検索されたのかを実環境モデルとして学習していく。このことにより実空間内に散在する情報と電子的情報とが適応的に関連付けられていくことになる。このようにして学習された相互関係は、ユーザに対してより自然なインターフェースを提供するために再利用されていく。このようなシステム構成のもと、以下の項目に関して研究を進め成果を得た。ユーザによるジェスチャ理解およびに実物体の認識結果に基づき、必要とされる電子的情報を検索するための機構を実現した。特に、従来の実世界指向インターフェースでは実在物体をシステムに登録する際にマーカーなどを明示的に付加する必要があったが、本研究ではユーザのジェスチャ認識および色特徴に基づく物体認識にもとづきインタラクティブに物体を登録・検索する枠組みSnapLinkを実現した。さらに、インタラクティブに物体を登録するのみでなく、認識された実物体とそれに関連して検索された電子情報との間の相関関係についても対話的に登録することができる仕組みを実現している。また、実現される拡張デスクトップ環境を用いてユーザ評価実験を行い、実世界型インターフェースとして必要とされる要素を分析した。

This study aims to explore the implementation of the system of GUI and the system of GUI in the future. In particular, the world aspires to the realization of the elements of the world knowledge, the environment, the learning, the necessary technology, the development, the realization of the space electron space existence, the information, the realization of the technology, the organic integration, the integration The operation subject is human, natural and necessary information is obtained, and the operation subject is established. The composition of the proposed environment is as follows: Infrared light can be seen in the field of vision, such as the entrance image, the movement of the camera, and the existence of objects on the camera. As a result, the electronic information of the basic and related information is searched, and the related information of the computer is re-projected. To understand the relationship between objects, information, and the environment Information scattered in space and electronic information scattered in space The relationship between the two sides of the river is not only natural, but also beneficial to the development of the river. The results of the research on the following projects have been obtained. The basic knowledge and understanding of the electronic information are realized. This study aims to realize the realization of SnapLink in the recognition of basic color characteristics of objects. For example, if you want to register an object, you can register an object, and if you want to register an object. The analysis of the essential elements of the world's environment

项目成果

小池英樹,小林貴訓,佐藤洋一: "紙と電子情報を統合する机型実世界指向インターフェースEnhancedDeskとその応用"情報処理学会論文誌. 42・3(発表予定). (2001)

Hideki Koike、Takanori Kobayashi、Yoichi Sato：“EnhancedDesk，一种集成纸质和电子信息的面向现实世界的桌面界面及其应用”，日本信息处理学会汇刊 42/3（待提交）。 （2001）