3次元映像の検索・編集に関する研究

本研究では、データベース化・アーカイブ化された大量の3次元ビデオのアークに対して、効率的に検索・編集を行うための技術開発、およびシステム構築を行った。従来技術であるモーションキャプチャ技術との融合・相互利用を図り、モーションキャプチャのデータと3次元ビデオのデータを協調的に利用した検索・編集技術の開発も行った。これにより、3次元ビデオとモーションキャプチャ両方の特徴を生かした、より実用的かつ効率的なシステムを実現した。さらには、USBカメラなどで撮影した2次元映像、ゲーム・コントローラで使用される加速度センサなどを用いて、一般ユーザでも直感的に検索・編集が行える技術も追加課題として研究した。具体的には、下記の要素技術を開発し、デモシステムを構築することで有用性を実証した。・ダイナメッシュからの信号処理的特微量抽出 ・ダイナメッシュからの構造的特徴量抽出 ・モーションキャプチャ・データからの信号処理的特微量抽出 ・動きセグメンテーションによるデータ分割 ・分割された3次元ビデオ・シーケンス同士の類似度比較 ・3次元ビデオに対するモーショングラフ ・3次元モデル・モーフィングによる結合シーケンス同士の補間 ・3次元ビデオの動き分類・動き認識 ・シーケンス内のキーフレーム抽出 ・モーションキャプチャ・データを用いた類似動作検索 ・2次元映像を用いた類似動作検索 ・加速度センサを用いた類似動作検索研究成果は学会等で新規性・有用性が認められ、2年間で4件の優秀論文賞や奨励賞などを受賞した。

本研究では、データベース化・アーカイブ化された大量の3次元ビデオのアークに対して、効率的に検索・編集を行うための技術開発、およびシステム構築を行った。従来技術であるモーションキャプチャ技術との融合・相互利用を図り、モーションキャプチャのデータと3次元ビデオのデータを協調的に利用した検索・編集技術の開発も行った。これにより、3次元ビデオとモーションキャプチャ両方の特徴を生かした、より実用的かつ効率的なシステムを実現した。さらには、USBカメラなどで撮影した2次元映像、ゲーム・コントローラで使用される加速度センサなどを用いて、一般ユーザでも直感的に検索・編集が行える技術も追加課題として研究した。具体的には、下記の要素技術を開発し、デモシステムを構築することで有用性を実証した。・ダイナメッシュからの信号処理的特微量抽出 ・ダイナメッシュからの構造的特徴量抽出 ・モーションキャプチャ・データからの信号処理的特微量抽出 ・動きセグメンテーションによるデータ分割 ・分割された3次元ビデオ・シーケンス同士の類似度比較 ・3次元ビデオに対するモーショングラフ ・3次元モデル・モーフィングによる結合シーケンス同士の補間 ・3次元ビデオの動き分類・動き認識 ・シーケンス内のキーフレーム抽出 ・モーションキャプチャ・データを用いた類似動作検索 ・2次元映像を用いた類似動作検索 ・加速度センサを用いた類似動作検索研究成果は学会等で新規性・有用性が認められ、2年間で4件の優秀論文賞や奨励賞などを受賞した。