顔に装着した1台のカメラに基づくヒューマンロボットインタフェース

本研究では、「1台の普通の小型CCDカメラを人間の頭部(顔)に装着する」ことにより、人間から発せられる多様な非言語情報を実時間で認識・理解するヒューマンインタフェースの構築を目指している。これまでの研究において、「1台の顔装着型カメラ+1台の汎用コンピュータ」という簡素な機器構成によりユーザの多様な非言語情報が入力・認識できることを移動ロボットの誘導実験を通して実証し、その発展として、「遠隔地にいる人同士の日常的なコミュニケーション」を支援することを目的とした"相互視界共有システム"を開発した。このシステムでは、コミュニケーションを行う両者の目の直上に1台の小型カメラを設置し、互いの視界を撮影した画像を遠隔地間で送受信することで擬似的にどちらか一方の視界を共有し、もう片方のカメラが写した画像から手の領域を抽出して共有する視界に画像合成することで、Pointing(「ここ」などの指示語を伴って行うジェスチャ)を実現している。これにより様々な作業を遠隔地から指示することがスムーズに行えるようになった。しかし熟練を要する複雑な作業を遂行する際には、Pointingのみでは一度に伝達可能な情報量が少なく、より相手に正確な指示を行えるような機能が求められる。そこで本研究では、このPointingに加えて、共有映像に文字や図形を描画するDrawingという機能を追加した「Pointing and Drawingシステム」を新規開発した。Drawing機能は、カメラが写した画像から指示者がペンを用いて紙に書いた文字や図などを画像処理により実時間抽出して共有映像に画像合成することで実現している。本システムを用いて、「内視鏡手術用鉗子を用いた糸の結紮実験」を複数の被験者に対して行った結果、音声やPointingでは表現しにくい複雑な操作を指示する際に、本システムが特に有効であることが実証された。

本研究では、「1台の普通の小型CCDカメラを人間の頭部(顔)に装着する」ことにより、人間から発せられる多様な非言語情報を実時間で認識・理解するヒューマンインタフェースの構築を目指している。これまでの研究において、「1台の顔装着型カメラ+1台の汎用コンピュータ」という簡素な機器構成によりユーザの多様な非言語情報が入力・認識できることを移動ロボットの誘導実験を通して実証し、その発展として、「遠隔地にいる人同士の日常的なコミュニケーション」を支援することを目的とした"相互視界共有システム"を開発した。このシステムでは、コミュニケーションを行う両者の目の直上に1台の小型カメラを設置し、互いの視界を撮影した画像を遠隔地間で送受信することで擬似的にどちらか一方の視界を共有し、もう片方のカメラが写した画像から手の領域を抽出して共有する視界に画像合成することで、Pointing(「ここ」などの指示語を伴って行うジェスチャ)を実現している。これにより様々な作業を遠隔地から指示することがスムーズに行えるようになった。しかし熟練を要する複雑な作業を遂行する際には、Pointingのみでは一度に伝達可能な情報量が少なく、より相手に正確な指示を行えるような機能が求められる。そこで本研究では、このPointingに加えて、共有映像に文字や図形を描画するDrawingという機能を追加した「Pointing and Drawingシステム」を新規開発した。Drawing機能は、カメラが写した画像から指示者がペンを用いて紙に書いた文字や図などを画像処理により実時間抽出して共有映像に画像合成することで実現している。本システムを用いて、「内視鏡手術用鉗子を用いた糸の結紮実験」を複数の被験者に対して行った結果、音声やPointingでは表現しにくい複雑な操作を指示する際に、本システムが特に有効であることが実証された。