遠隔地間共有複合現実感空間における二人羽織型操作・教示インタフェース

本研究は,共有複合現実感空間において,遠隔地間での空間共有,指示操作,情報教示をできるだけ直感的で違和感の少ない自然な操作で実現する操作インタフェースを構築することを目的とし,共有複合現実感空間及び操作インタフェースを,被教示者の視点映像を教示者と被教示者の双方に提示し,その中で双方の動作を共有することで実現する「二人羽織型操作教示インタフェース」を提案した.操作インタフェースには,日常生活のインタラクションにおいて最も良く使われる「手」に着目した「手指」による指示・選択・描画操作を,ユーザにとってデバイス装着による拘束感の少ない画像センサを用いることで実現した.構築したインタフェースは,頭部装着型映像提示装置に取り付けたカメラのみで,各々のユーザの「手指」動作を画像認識処理により判別することで実現されており,手指等に特別な操作デバイスを装着することなく,自然な指差しや選択動作による操作を実現している.共有空間の提示には,遠隔地に存在する被教示者の視点映像を,頭部装着型映像提示装置に取り付けたカメラによって取得し,ネットワークを介して,教示者と被教示者双方の視点映像として提示することで実現した.その際,必要なネットワーク帯域を軽減する為に,双方で交換するデータは可逆圧縮処理を行った上で伝送している.また,共有空間である被教示者の視点映像中で行われた教示者による教示動作は,教示者側のカメラで取得後,画像認識処理を行い,教示情報のみを被教示者の視点映像中に重畳表示することで,情報の共有を実現した.

本研究は,共有複合現実感空間において,遠隔地間での空間共有,指示操作,情報教示をできるだけ直感的で違和感の少ない自然な操作で実現する操作インタフェースを構築することを目的とし,共有複合現実感空間及び操作インタフェースを,被教示者の視点映像を教示者と被教示者の双方に提示し,その中で双方の動作を共有することで実現する「二人羽織型操作教示インタフェース」を提案した.操作インタフェースには,日常生活のインタラクションにおいて最も良く使われる「手」に着目した「手指」による指示・選択・描画操作を,ユーザにとってデバイス装着による拘束感の少ない画像センサを用いることで実現した.構築したインタフェースは,頭部装着型映像提示装置に取り付けたカメラのみで,各々のユーザの「手指」動作を画像認識処理により判別することで実現されており,手指等に特別な操作デバイスを装着することなく,自然な指差しや選択動作による操作を実現している.共有空間の提示には,遠隔地に存在する被教示者の視点映像を,頭部装着型映像提示装置に取り付けたカメラによって取得し,ネットワークを介して,教示者と被教示者双方の視点映像として提示することで実現した.その際,必要なネットワーク帯域を軽減する為に,双方で交換するデータは可逆圧縮処理を行った上で伝送している.また,共有空間である被教示者の視点映像中で行われた教示者による教示動作は,教示者側のカメラで取得後,画像認識処理を行い,教示情報のみを被教示者の視点映像中に重畳表示することで,情報の共有を実現した.