ウエアラブルメディアによる長期間体験映像記録と自動的な要約の生成

「極めて長期間の個人体験映像をそのまま記録したい」というのが本研究の動機である。カメラやコンピュータの小型化が進み、ウエアラブルコンピュータといった究極の個人情報処理環境も出現している。また、記録装置の高密度化、小型化もすすみ、大量の情報を蓄積できるようになってきている。いずれは小型カメラをつけ、見たままの映像をその人の視点から記録し長期間に渡って記録し続けることのできる環境が整うことであろう。映像のデータ量は70年分の映像を記録したとしても圧縮レートが64kbps(TV電話品質)で11テラバイト、4Mbps(放送TV品質)でその64倍にすぎない。この量はまちがいなく近い将来、個人で所有できるデータ量となる。ただし、記録できたとしてもその人にとって必要なところだけを絵日記のように抽出し、再生するにはどうすればよいのかという問題が大きな処理課題として残る。本研究では、この課題への取り組みを行う。なお、このように人生まるまる要約するようなメディアをライフメディアと称したい。今年度の成果を以下に記す。・ウエアラブルイメージングシステムの構築カメラ映像、GPS、脳波情報、加速度センサなどウエアラブル機器をまとめたプラットホームを構築した。・各種センサ情報を用いた体験映像のインデキシング比較的長時間の映像データに対して、GPS,動きセンサ、加速度センサなどの情報を用いてユーザの振る舞いを推定し、体験映像へのインデキシングを行った。歩いている、とまっているなどのイベントを検出し、ビューワ上で一覧することができる。これまでに続けてきた脳波情報も者種センサデータと合わせて構築したシステムでは一括して記録することが出来る。・映像と音響情報による個人視点映像の構造化個人視点映像は、だらだらと連続的に続く映像であり、これを何らかの処理単位へと分割し、ショットを構成したい。映像の客観的な特徴量を用いた分割手法を検討した。

「極めて長期間の個人体験映像をそのまま記録したい」というのが本研究の動機である。カメラやコンピュータの小型化が進み、ウエアラブルコンピュータといった究極の個人情報処理環境も出現している。また、記録装置の高密度化、小型化もすすみ、大量の情報を蓄積できるようになってきている。いずれは小型カメラをつけ、見たままの映像をその人の視点から記録し長期間に渡って記録し続けることのできる環境が整うことであろう。映像のデータ量は70年分の映像を記録したとしても圧縮レートが64kbps(TV電話品質)で11テラバイト、4Mbps(放送TV品質)でその64倍にすぎない。この量はまちがいなく近い将来、個人で所有できるデータ量となる。ただし、記録できたとしてもその人にとって必要なところだけを絵日記のように抽出し、再生するにはどうすればよいのかという問題が大きな処理課題として残る。本研究では、この課題への取り組みを行う。なお、このように人生まるまる要約するようなメディアをライフメディアと称したい。今年度の成果を以下に記す。・ウエアラブルイメージングシステムの構築カメラ映像、GPS、脳波情報、加速度センサなどウエアラブル機器をまとめたプラットホームを構築した。・各種センサ情報を用いた体験映像のインデキシング比較的長時間の映像データに対して、GPS,動きセンサ、加速度センサなどの情報を用いてユーザの振る舞いを推定し、体験映像へのインデキシングを行った。歩いている、とまっているなどのイベントを検出し、ビューワ上で一覧することができる。これまでに続けてきた脳波情報も者種センサデータと合わせて構築したシステムでは一括して記録することが出来る。・映像と音響情報による個人視点映像の構造化個人視点映像は、だらだらと連続的に続く映像であり、これを何らかの処理単位へと分割し、ショットを構成したい。映像の客観的な特徴量を用いた分割手法を検討した。