複合コミュニティ空間のための人物動作理解と人物映像加工に基づく視覚増強機構

本研究では,複合現実感を実現する副作用として欠落する視覚情報を補完し,さらに一層増強するためのパターン認識・理解技術を研究した。具体的には,複数の人間の視覚的な情報交換の基本である,(1)互いの顔や動作を視認することによる相手の状態把握のための視覚支援,(2)指差しなどによる第三物体への注目の共有のための視覚支援,の2点について,これらを自然なかたちで支援できる複合コミュニティ空間のプロトタイプ構築を通して,人間が中心の実時間対話環境を前提とした新しいパターン認識・理解の枠組みを追求した。本年度は,HMDを装着した人間同士のアイコンタクトを可能にするためのリアルタイム顔画像加工技術と現実空間の人物への重畳技術,動作及び発話からの指示物体認識技術と映像アイコンとしての蓄積・伝送・提示技術,視線と指差しによる注目物体の推定技術とその強調提示技術,の各要素技術の開発を並行して行うとともに,複合コミュニティ空間のプロトタイプを構築し,要素技術を統合することによって当初の研究目標の視覚支援が実現可能であることを実証した。○実写画像を基にした任意方向・任意表情の顔画像の合成手法をベースに,HMDをかけた人物の顔にHMDをかけていない状態の顔画像をリアルタイムで重ね合わせる技術を開発し,アイコンタクトの復元が可能であることの見通しを得た。○人間のコミュニケーションにおいて特に重要である指示動作・例示動作を注目共有に利用するため,プレゼンテーションにおける指示動作を抽出する方法をベースとしてリアルタイムで注目物体を推定し追尾する手法を開発し,仮想マーカによる注目物体の強調提示や,注目物体のアノテーションを文字や映像で提示することを実現した。

本研究では,複合現実感を実現する副作用として欠落する視覚情報を補完し,さらに一層増強するためのパターン認識・理解技術を研究した。具体的には,複数の人間の視覚的な情報交換の基本である,(1)互いの顔や動作を視認することによる相手の状態把握のための視覚支援,(2)指差しなどによる第三物体への注目の共有のための視覚支援,の2点について,これらを自然なかたちで支援できる複合コミュニティ空間のプロトタイプ構築を通して,人間が中心の実時間対話環境を前提とした新しいパターン認識・理解の枠組みを追求した。本年度は,HMDを装着した人間同士のアイコンタクトを可能にするためのリアルタイム顔画像加工技術と現実空間の人物への重畳技術,動作及び発話からの指示物体認識技術と映像アイコンとしての蓄積・伝送・提示技術,視線と指差しによる注目物体の推定技術とその強調提示技術,の各要素技術の開発を並行して行うとともに,複合コミュニティ空間のプロトタイプを構築し,要素技術を統合することによって当初の研究目標の視覚支援が実現可能であることを実証した。○実写画像を基にした任意方向・任意表情の顔画像の合成手法をベースに,HMDをかけた人物の顔にHMDをかけていない状態の顔画像をリアルタイムで重ね合わせる技術を開発し,アイコンタクトの復元が可能であることの見通しを得た。○人間のコミュニケーションにおいて特に重要である指示動作・例示動作を注目共有に利用するため,プレゼンテーションにおける指示動作を抽出する方法をベースとしてリアルタイムで注目物体を推定し追尾する手法を開発し,仮想マーカによる注目物体の強調提示や,注目物体のアノテーションを文字や映像で提示することを実現した。