力覚と視覚を介してインタラクション可能な等身大バーチャルヒューマンの開発

今年度は、等身大バーチャルヒューマンとユーザのインタラクションをより充実させるために、システムを駆動するフレームワークの改善を行った。まず、これまでは等身大力覚提示装置SPIDAR-Hのみを使ってユーザはインタラクションを行っていたが、これを拡張し、データグローブを介して指先までの動きを入力として取り込めるようにした。さらに手の甲に加速度センサを装着し、試作しているキャッチボールコンテンツにおいて、ユーザの詳細な腕の動きに応じて、対応する動作データをデータベースより引き出すようにした。これらの改良はフレームワーク側で行い、各デバイスの有無に併せて、透過的にシステムがユーザの動作状況をセンシングし、それに併せたバーチャルヒューマンの動作生成を行えるように実装を行った。次に、これまでは事前にモーションキャプチャによって計測した動作データをデータベースに蓄積しておくだけであったが、システムを体験しているユーザの動作を同時にモーションキャプチャし、その動作をデータベースに反映することで、システムが自動的にバーチャルヒューマンの動作パターンを増やしていくことを可能にした。モーションキャプチャには6台のカメラを用いた光学式トラッカを用い、没入型ディスプレイと共存できるように工夫して取り付けた。動作データを大量に準備することがデータ駆動型の問題であったが、自動的に動作を取り込める枠組みをシステムに組み込むことで、この問題を解決することが可能になった。

今年度は、等身大バーチャルヒューマンとユーザのインタラクションをより充実させるために、システムを駆動するフレームワークの改善を行った。まず、これまでは等身大力覚提示装置SPIDAR-Hのみを使ってユーザはインタラクションを行っていたが、これを拡張し、データグローブを介して指先までの動きを入力として取り込めるようにした。さらに手の甲に加速度センサを装着し、試作しているキャッチボールコンテンツにおいて、ユーザの詳細な腕の動きに応じて、対応する動作データをデータベースより引き出すようにした。これらの改良はフレームワーク側で行い、各デバイスの有無に併せて、透過的にシステムがユーザの動作状況をセンシングし、それに併せたバーチャルヒューマンの動作生成を行えるように実装を行った。次に、これまでは事前にモーションキャプチャによって計測した動作データをデータベースに蓄積しておくだけであったが、システムを体験しているユーザの動作を同時にモーションキャプチャし、その動作をデータベースに反映することで、システムが自動的にバーチャルヒューマンの動作パターンを増やしていくことを可能にした。モーションキャプチャには6台のカメラを用いた光学式トラッカを用い、没入型ディスプレイと共存できるように工夫して取り付けた。動作データを大量に準備することがデータ駆動型の問題であったが、自動的に動作を取り込める枠組みをシステムに組み込むことで、この問題を解決することが可能になった。