実世界型インターフェース実現のための実環境モデルの学習

学习真实环境模型以实现真实世界的界面

• 批准号: 11780298
• 负责人: 佐藤 洋一
• 金额: $ 1.54万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780298/
• 关键词: ヒューマン・コンピュータ・インタラクシ; 実世界志向インターフェース; 動画像処理; 赤外線画像処理; ジェスチャ認識; 人体動作計測; ヒューマン・コンピュータ・インタラクション; 実世界志向型インターフェース

本研究では、従来型のGUIの枠組みを超えて、行動の主体であるユーザと実世界とのインタラクションを考慮したインターフェース(実世界志向型インターフェース)の実現を目的とする。特に、実世界志向型インターフェース実現のための構成要素である実世界認識およびに実環境モデル学習について必要とされる技術を開発していくことにより、現実空間と電子的空間に存在する両方の情報を拡張現実感技術により有機的に統合しながら、操作主体となる人間にとってより自然な形で必要な情報を得ることを可能とするインターフェースを確立させることを目指している。提案する拡張デスクトップ環境の構成は以下の通りである。赤外線カメラおよびに可視領域カラーカメラ等からの入力画像をもとに、ユーザの行動を理解し、かつ机上に存在する物体を認識する。その結果に基づき、関連する電子的情報を検索し、プロジェクタにより机上に関連情報を重ね込み投影する。また、認識された実物体に関連して、どのような情報が検索されたのかを実環境モデルとして学習していく。このことにより実空間内に散在する情報と電子的情報とが適応的に関連付けられていくことになる。このようにして学習された相互関係は、ユーザに対してより自然なインターフェースを提供するために再利用されていく。このようなシステム構成のもと、以下の項目に関して研究を進め成果を得た。ユーザによるジェスチャ理解およびに実物体の認識結果に基づき、必要とされる電子的情報を検索するための機構を実現した。特に、従来の実世界指向インターフェースでは実在物体をシステムに登録する際にマーカーなどを明示的に付加する必要があったが、本研究ではユーザのジェスチャ認識および色特徴に基づく物体認識にもとづきインタラクティブに物体を登録・検索する枠組みSnapLinkを実現した。さらに、インタラクティブに物体を登録するのみでなく、認識された実物体とそれに関連して検索された電子情報との間の相関関係についても対話的に登録することができる仕組みを実現している。また、実現される拡張デスクトップ環境を用いてユーザ評価実験を行い、実世界型インターフェースとして必要とされる要素を分析した。

这项研究旨在实现超越传统GUI框架的界面（现实世界中的界面），并考虑了用户，行动和现实世界之间的互动。特别是，通过开发用于现实世界识别和现实环境模型学习所必需的技术，这些技术是现实世界取向接口的组成部分，其目的是建立一个界面，允许使用增强现实技术在真实和电子空间中存在的信息，同时还可以通过增强现实技术进行有机整合，同时还以更自然的方式获得了更自然的操纵物体的必要信息。扩展桌面环境的提议配置如下：基于红外摄像头的输入图像，可见的颜色摄像头等，可以理解用户的操作，并识别出桌子上的对象。根据结果​​，搜索了相关的电子信息，并使用投影仪将相关信息叠加在桌子上。此外，与公认的真实对象有关的信息是一种真实的环境模型。这允许散布在真实空间中的信息与电子信息自适应地关联。以这种方式学习的相互关系被重复使用，以为用户提供更自然的接口。基于此系统配置，对以下项目进行了研究并获得了结果。根据用户对手势的理解和真实对象的结果，已经实施了一种机制来检索所需的电子信息。特别是，在传统的面向现实世界的界面中，需要在系统中注册真实对象时明确添加标记，但是在这项研究中，我们已经实现了一个基于用户手势识别和基于颜色功能的对象识别的框架，用于在互动上进行注册和搜索对象。此外，不仅可以进行交互式注册对象，而且还可以在识别的真实对象和相对于它们检索到的电子信息之间注册相关性。此外，使用已实现的扩展台式环境进行了用户评估实验，并分析了现实世界接口所需的元素。

项目成果

小池英樹,小林貴訓,佐藤洋一: "紙と電子情報を統合する机型実世界指向インターフェースEnhancedDeskとその応用"情報処理学会論文誌. 42・3(発表予定). (2001)

Hideki Koike、Takanori Kobayashi、Yoichi Sato：“EnhancedDesk，一种集成纸质和电子信息的面向现实世界的桌面界面及其应用”，日本信息处理学会汇刊 42/3（待提交）。 （2001）