顔に装着した1台のカメラに基づくヒューマンロボットインタフェース

基于单个面部安装摄像头的人机界面

• 批准号: 14750370
• 负责人: 西川 敦
• 金额: $ 2.43万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14750370/
• 关键词: ヒューマンインタフェース; ポインティングジェスチャ; 携帯電話; ウェアラブル; フェイスマウントカメラ; フェイスマウントディスプレイ; 遠隔コミュニケーション; 視界共有; 指差し; ジェスチャ認識; 移動ロボット; 手振り; ポインティング; ヘッドマウントカメラ

本研究では、「1台の普通の小型CCDカメラを人間の頭部(顔)に装着する」ことにより、人間から発せられる多様な非言語情報を実時間で認識・理解するヒューマンインタフェースの構築を目指している。これまでの研究において、「1台の顔装着型カメラ+1台の汎用コンピュータ」という簡素な機器構成によりユーザの多様な非言語情報が入力・認識できることを移動ロボットの誘導実験を通して実証し、その発展として、「遠隔地にいる人同士の日常的なコミュニケーション」を支援することを目的とした"相互視界共有システム"を開発した。このシステムでは、コミュニケーションを行う両者の目の直上に1台の小型カメラを設置し、互いの視界を撮影した画像を遠隔地間で送受信することで擬似的にどちらか一方の視界を共有し、もう片方のカメラが写した画像から手の領域を抽出して共有する視界に画像合成することで、Pointing(「ここ」などの指示語を伴って行うジェスチャ)を実現している。これにより様々な作業を遠隔地から指示することがスムーズに行えるようになった。しかし熟練を要する複雑な作業を遂行する際には、Pointingのみでは一度に伝達可能な情報量が少なく、より相手に正確な指示を行えるような機能が求められる。そこで本研究では、このPointingに加えて、共有映像に文字や図形を描画するDrawingという機能を追加した「Pointing and Drawingシステム」を新規開発した。Drawing機能は、カメラが写した画像から指示者がペンを用いて紙に書いた文字や図などを画像処理により実時間抽出して共有映像に画像合成することで実現している。本システムを用いて、「内視鏡手術用鉗子を用いた糸の結紮実験」を複数の被験者に対して行った結果、音声やPointingでは表現しにくい複雑な操作を指示する際に、本システムが特に有効であることが実証された。

In this study, the human health department of a small-sized CCD is equipped with a mobile phone, which is a non-verbal, non-verbal and non-verbal information. There is a lot of information about how to do the research, one dress model, one machine, one machine. There are mutual exchanges in the mutual circle between people and scholars on a daily basis. The owner of the video camera, the owner of the video camera, the owner of the video shop, the owner of the camera, the owner of the video, the video of the video, the video of the picture, the picture. Pointing (please tell me that you are not going to make a mistake.) you can see that you have a bad situation. During the operation, the operator was instructed to do so at different locations. It is well known that if you want to make a copy of the operation, it is possible that the amount of information is less than that of the Pointing. It is possible that the amount of information is less, and the information is correct to instruct the operator to obtain information. In the course of this study, you need to Pointing to add information, and you can use the common image text to draw Drawing images. The machine can add new rules and regulations to introduce new rules and regulations. The Drawing machine can be used to write the picture. The instructor will use the text of the image to extract the common image and synthesize the image. In this system, you can read the results of the users of the complex data, the results of the operation of the Pointing, the instructions of the copy operation, and the results of the instructions for the operation of the copy.

项目成果

実時間遠隔コミュニケーションを支援する相互視界共有システム

支持实时远程通信的相互视觉共享系统

• 发表时间: 2005
• 期刊: 電子情報通信学会論文誌D-I J88-D-I巻2号
• 作者: 西川 敦 他

実時間遠隔コミュニケーションのための共有映像へのPointing and Drawing システムの開発

实时远程通信共享视频指点绘图系统的开发

• 发表时间: 2005
• 期刊: 電子情報通信学会2005年総合大会ISS特別企画予稿集 D-SP-38(印刷中)
• 作者: 西川 敦 他;宇都宮 卓也 他
• 通讯作者: 宇都宮 卓也 他

丸谷 誠慶, 西川 敦, 宮崎 文夫: "2次元画像からの指先位置検出に基づく実時間手形状認識と移動ロボット遠隔操縦タスクへの応用"情報処理学会研究報告コンピュータビジョンとイメージメディア. CVIM133-20. 145-152 (2002)

Masayoshi Marutani、Atsushi Nishikawa、Fumio Miyazaki：“基于 2D 图像指尖位置检测的实时手形识别及其在移动机器人远程控制任务中的应用”日本信息处理学会研究报告计算机视觉和图像媒体 CVIM133-20。 .145-152 (2002)