Building Movie Maps from 360 Degree Walking Videos for Virtual Exploration

本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を目指している。そのためには、対象地域内に存在する全ての移動経路沿いに移動しながら映像を取得するのが望ましい。しかしながら、地域内の街路は、お互いに交差し、とりうる経路は組み合わせで増大し、すべての経路を事前に撮像することは到底できない。そのために、街路ごとに一つの映像として取得することとする。そして、街路の交差では、今の映像から交差する次の映像に切り替えることで、方向転換を行い、地域内の歩き回りの実現が可能となる。本研究の目標は、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築することにある。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。研究課題を以下に列挙する。■360度映像群の高精度な分節・構造化：自己位置推定と地図上へのマッピング、自己位置推定によらない映像の交差判定■360度映像視制御技術：円滑な映像セグメントの接続、RoI (Region of Interest)の検出とその提示による360度映像表示の拡張■360度移動視点群データセットの構築・データベース更新：実験対象を広げ、ムービーマップの適用領域を広げる。■ユーザスタディによる評価

本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を目指している。そのためには、対象地域内に存在する全ての移動経路沿いに移動しながら映像を取得するのが望ましい。しかしながら、地域内の街路は、お互いに交差し、とりうる経路は組み合わせで増大し、すべての経路を事前に撮像することは到底できない。そのために、街路ごとに一つの映像として取得することとする。そして、街路の交差では、今の映像から交差する次の映像に切り替えることで、方向転換を行い、地域内の歩き回りの実現が可能となる。本研究の目標は、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築することにある。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。研究課題を以下に列挙する。■360度映像群の高精度な分節・構造化：自己位置推定と地図上へのマッピング、自己位置推定によらない映像の交差判定■360度映像視制御技術：円滑な映像セグメントの接続、RoI (Region of Interest)の検出とその提示による360度映像表示の拡張■360度移動視点群データセットの構築・データベース更新：実験対象を広げ、ムービーマップの適用領域を広げる。■ユーザスタディによる評価