大規模空間で行われる動的なイベントを対象とした自由視点映像の生成・提示システム

点击翻译按钮获取中文摘要

映画産業等への応用を目的として,動的シーンに対し,より高精細かつ写実的な自由視点映像を生成する手法を構築した.映画制作の場面では,しばしば,人物の撮影のみをスタジオで行い,後から背景を合成してシーン全体を作るという手法が用いられている.ここで違和感のない映像を合成するためには,背景の照明条件と,スタジオの照明条件を一致させ,それぞれ撮影された画像の光学的整合性を保つ必要がある.従来は,映画制作者が手動で各背景ごとにスタジオの照明装置を調整する必要があったため,非常に手間がかかっていた.そこで,本研究では,Image Based Relightingの技術を利用し,複数の照明条件で撮影した画像から,それらの線形結合によって任意の照明条件の画像を合成することで,より簡易に光学的整合性の保たれた画像を合成することを可能にした.すなわち,あらかじめ所望の背景画像および背景の光学情報をカメラで取得しておき,それに基づいて,スタジオで撮影される対象人物の多照明画像を組み合わせ,最後に背景に重畳するだけで,シーン全体を写実的なものとすることができる.また,同時に対象人物を校正済カメラで複数の視点から撮影することで,より高精細な自由視点映像の生成を試みた.対象人物のシルエット情報から視体積交差法によって得られる3次元モデルを初期物体形状とし,多視点多照明画像から求まる拘束条件を用いて,モデル表面メッシュの頂点位置を調整し,対象モデルの最適化を行った.これにより,高精細な任意視点の画像が合成となる.本研究は,任意の照明条件のもとでの自由視点映像合成を可能とするため,ポストプロダクションでの利用が期待できる.