体験による協調的な3次元仮想空間の構成法に関する研究

体験を共有した複数ユーザの視点で記録された映像・画像データを用いて、各ユーザの視点の相違を顕在化したり、また、各自の視点画像に注釈を加え合いながら、体験共有を通したコミュニケーションを支援したり、追体験の支援を行うシステムの試作を行った。(1)漫画技法を用いた体験サマリを行うシステムの試作:同一イベントに参加した複数ユーザによる視点映像を利用し、各ユーザが主人公となる漫画形式の体験サマリを出力するシステムを試作した。システムは、注視対象認識データと発話データからハイライトシーンの抽出とその状況の推定を行い、漫画的な技法、つまり、シーンに相当するコマ割りの配置、吹き出しを利用した会話シーンの状況表示、注視対象のメリハリ表示といったことを行う。また、ユーザ自身による漫画レイアウト編集を支援し、個人の体験を他の人に伝達するための手段を提供することを試みた。(2)互いの視点に「書き込む」ことによるコミュニケーション支援システムの試作:写真撮影機能と、閲覧中の写真の上に書き込みができるペンインタフェースを備えたモバイルパソコン上で動作するシステムを開発した。本システムのユーザは、自分が撮影した写真だけでなく、他のユーザが撮影した写真も実時間で共有することができ、互いの写真に書き込みをし合うことで、互いの興味対象の相違や、気軽なコミュニケーションを行うことができる。いずれも現時点では3次元仮想空間の構築には至っていないが、前年度に構築した、追体験のための3次元仮想空間構築手法を併せて利用することで、体験データを協調的に共有・伝達し合うための新しい枠組みを提案することができたと考える。

体験を共有した複数ユーザの視点で記録された映像・画像データを用いて、各ユーザの視点の相違を顕在化したり、また、各自の視点画像に注釈を加え合いながら、体験共有を通したコミュニケーションを支援したり、追体験の支援を行うシステムの試作を行った。(1)漫画技法を用いた体験サマリを行うシステムの試作:同一イベントに参加した複数ユーザによる視点映像を利用し、各ユーザが主人公となる漫画形式の体験サマリを出力するシステムを試作した。システムは、注視対象認識データと発話データからハイライトシーンの抽出とその状況の推定を行い、漫画的な技法、つまり、シーンに相当するコマ割りの配置、吹き出しを利用した会話シーンの状況表示、注視対象のメリハリ表示といったことを行う。また、ユーザ自身による漫画レイアウト編集を支援し、個人の体験を他の人に伝達するための手段を提供することを試みた。(2)互いの視点に「書き込む」ことによるコミュニケーション支援システムの試作:写真撮影機能と、閲覧中の写真の上に書き込みができるペンインタフェースを備えたモバイルパソコン上で動作するシステムを開発した。本システムのユーザは、自分が撮影した写真だけでなく、他のユーザが撮影した写真も実時間で共有することができ、互いの写真に書き込みをし合うことで、互いの興味対象の相違や、気軽なコミュニケーションを行うことができる。いずれも現時点では3次元仮想空間の構築には至っていないが、前年度に構築した、追体験のための3次元仮想空間構築手法を併せて利用することで、体験データを協調的に共有・伝達し合うための新しい枠組みを提案することができたと考える。