顔に装着した1台のカメラに基づくヒューマンロボットインタフェース

基于单个面部安装摄像头的人机界面

• 批准号: 14750370
• 负责人: 西川 敦
• 金额: $ 2.43万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14750370/
• 关键词: ヒューマンインタフェース; ポインティングジェスチャ; 携帯電話; ウェアラブル; フェイスマウントカメラ; フェイスマウントディスプレイ; 遠隔コミュニケーション; 視界共有; 指差し; ジェスチャ認識; 移動ロボット; 手振り; ポインティング; ヘッドマウントカメラ

本研究では、「1台の普通の小型CCDカメラを人間の頭部(顔)に装着する」ことにより、人間から発せられる多様な非言語情報を実時間で認識・理解するヒューマンインタフェースの構築を目指している。これまでの研究において、「1台の顔装着型カメラ+1台の汎用コンピュータ」という簡素な機器構成によりユーザの多様な非言語情報が入力・認識できることを移動ロボットの誘導実験を通して実証し、その発展として、「遠隔地にいる人同士の日常的なコミュニケーション」を支援することを目的とした"相互視界共有システム"を開発した。このシステムでは、コミュニケーションを行う両者の目の直上に1台の小型カメラを設置し、互いの視界を撮影した画像を遠隔地間で送受信することで擬似的にどちらか一方の視界を共有し、もう片方のカメラが写した画像から手の領域を抽出して共有する視界に画像合成することで、Pointing(「ここ」などの指示語を伴って行うジェスチャ)を実現している。これにより様々な作業を遠隔地から指示することがスムーズに行えるようになった。しかし熟練を要する複雑な作業を遂行する際には、Pointingのみでは一度に伝達可能な情報量が少なく、より相手に正確な指示を行えるような機能が求められる。そこで本研究では、このPointingに加えて、共有映像に文字や図形を描画するDrawingという機能を追加した「Pointing and Drawingシステム」を新規開発した。Drawing機能は、カメラが写した画像から指示者がペンを用いて紙に書いた文字や図などを画像処理により実時間抽出して共有映像に画像合成することで実現している。本システムを用いて、「内視鏡手術用鉗子を用いた糸の結紮実験」を複数の被験者に対して行った結果、音声やPointingでは表現しにくい複雑な操作を指示する際に、本システムが特に有効であることが実証された。

这项研究旨在创建一个人类界面，该界面通过“将单个普通的小型CCD摄像头连接到人头（面）”，以实时识别和理解人类发出的各种非语言信息。在先前的研究中，我们通过移动机器人的指导实验证明了“一个面对面的相机 +一台通用计算机”的简单设备结构，使用户能够输入和识别各种非语言信息，并且作为开发，我们已经开发了一种“相互视觉共享系统”，旨在支持偏远地区的人之间的每日通信”。在此系统中，一台小型摄像头在交流的眼睛上方，并通过在远程区域之间发送和接收彼此视觉的图像，模拟共享一个视野领域之一，并通过从另一个相机拍摄的图像中提取手的区域，并将图像组合到共享视野字段中，并实现与指标制成的手势”。这使得可以从远程位置顺利执行各种任务。但是，在执行需要技能的复杂任务时，单独的指数需要一个允许一次传输信息的功能，并允许向另一方提供更准确的说明。因此，在这项研究中，除了这一点外，我们开发了一个新的“指向和绘图系统”，该功能添加了一个称为绘图的函数，以绘制文本和形状为共享图像。通过使用图像处理实时从相机拍摄的图像中提取文本和图表，并将图像组合到共享图像中，可以实现绘图函数。使用该系统，我们对多个受试者进行了“使用内镜手术钳使用弦连接实验”，并且已经证明，在指导很难使用音频或指向表达的复杂操作时，该系统特别有效。

项目成果

実時間遠隔コミュニケーションを支援する相互視界共有システム

支持实时远程通信的相互视觉共享系统

• 发表时间: 2005
• 期刊: 電子情報通信学会論文誌D-I J88-D-I巻2号
• 作者: 西川 敦 他

丸谷 誠慶, 西川 敦, 宮崎 文夫: "2次元画像からの指先位置検出に基づく実時間手形状認識と移動ロボット遠隔操縦タスクへの応用"情報処理学会研究報告コンピュータビジョンとイメージメディア. CVIM133-20. 145-152 (2002)

Masayoshi Marutani、Atsushi Nishikawa、Fumio Miyazaki：“基于 2D 图像指尖位置检测的实时手形识别及其在移动机器人远程控制任务中的应用”日本信息处理学会研究报告计算机视觉和图像媒体 CVIM133-20。 .145-152 (2002)

実時間遠隔コミュニケーションのための共有映像へのPointing and Drawing システムの開発

实时远程通信共享视频指点绘图系统的开发

• 发表时间: 2005
• 期刊: 電子情報通信学会2005年総合大会ISS特別企画予稿集 D-SP-38(印刷中)
• 作者: 西川 敦 他;宇都宮 卓也 他
• 通讯作者: 宇都宮 卓也 他