視点位置に応じた三次元モデルの逐次生成による広域仮想化現実空間の構築

点击翻译按钮获取中文摘要

本研究では、移動撮影によって得られた全方位画像に対して、撮影地点以外からの新たな視点の画像を生成する手法について研究を行った。今年度は、複数の撮影地点に対する中間地点における視点の画像を生成することを目標に全方位奥行画像を用い、入力画像撮影地点の中間位置において奥行画像の最適化を行うことで、品質の高い中間視点画像生成を行う手法を開発した。具体的には、中間視点位置における各画素の奥行値を最適化するために、各入力画像上での色の一致度を基準に最適化を行い、各画素の色を決定する手法を開発した。また、不自然な画像の生成を抑制するために、奥行きの滑らかさを指標とした目的関数を設定し、奥行の不連続な変化を抑止した。これにより、任意の視点位置における画像を生成することが可能となったが、本研究では更に、複数の画像の対応から生成される画像の解像度を高める超解像手法についても実現可能であることに着目し、更なる生成画像の品質向上を行った。他方、モデルベースでの任意視点画像生成手法についても、基礎的検証を行った。具体的には、モデル生成の際にオクルージョンなどによって生じる欠損領域について、周辺の類似構造パターンを用いることで、自動的に修復を行い、違和感の生じにくい三次元モデルを生成する手法を開発した。実験により、小物体に対する自動修復については高品位な結果得られたが、本研究の目的である広域屋外環境に対する検証には現時点では至っておらず、研究期間終了後においても引き続き、今後広域屋外環境モデルに対する実験を実施し、本研究成果の有効性を確認・公開していく予定である。