omni-directional image generation from snapshot image

点击翻译按钮获取中文摘要

本研究では，通常のスナップ写真から全天球画像を生成する課題を研究対象とした。全天球画像とは，カメラの全方向を同時に撮影して得られる画像のことで，仮想現実感(VR)や拡張現実感(AR)のコンテンツを作成する際に利用される。全天球画像の活用は徐々に増えつつあるが，通常のカメラで撮影されるスナップ写真に比べると，まだ限られた用途にしか活用されていない。本研究では手軽に撮影できるスナップ写真から全天球画像を生成する手法を確立することを目的とした。本年度は、(1) 階層型全天球画像生成モデルの検討、(2) MLPMixerを用いた手法に対する多様性の評価、(3) 任意のカメラ方向で撮影した画像から全天球画像の生成、(4) 拡散モデルの活用の検討の4点について検討を行った。(1)において、従来、単一のU-Netを用いて全天球画像を生成していたが、階層型全天球画像生成モデルでは、はじめに低解像度の画像から生成を初めて徐々に解像度の高い画像を生成する手法を提案した。(2)において、昨年度MLPMixerを利用した全天球画像生成手法を提案したが、本年度はその手法において中央に埋め込んだ入力画像の情報が全天球画像全体に効率的に伝達できているかを評価するために、生成された画像の多様性の評価を行った。(3)において、昨年度CNNを利用した手法で、任意のカメラ方向で撮影した画像から全天球画像を生成する手法を検討したが、本年度はMLPMixerを利用した手法でも任意のカメラ方向の入力で利用できるように検討した。(4)において、従来GANを利用して全天球画像生成を行っていたが、近年画像生成モデルとして利用されている拡散モデルの適用を検討した。現時点ではGANよりも精度の良い画像生成はできていないが、今後、その原因を検討することで拡散モデルの活用方法を検討する。