四次元視点移動を可能にする自由視点画像生成

点击翻译按钮获取中文摘要

フランスINRIAのREVESグループにおよそ10ヶ月間滞在し、G. Drettakis, A. Bousseau, K. VanhoeyおよびUC BerkeleyのA. Efrosと共同で、色調合成(color transfer)とテクスチャ合成(texture transfer)法を併用し、写真中の季節変化を表現する手法を開発した。これは、前年度に取り組んだ、イメージベースドレンダリング(IBR)による現実空間の仮想化に基づく軽量・写実的な仮想物体合成手法によって実現される長い時間の変化(遠い過去・未来)を表現する手法と、すでにいくつかの従来研究で実現されてきた、光源付与による短い時間の変化(時間・天気変化)を実現する手法では実現できない時間変化を表現する、いわば本研究課題の四次元自由視点画像生成におけるミッシングリンクを埋める研究であり、本研究課題の最終年度にふさわしい内容となった。提案手法は、変換ターゲットとなる画像および、学習用画像群を入力とする。従来、同様の入力を対象とした色調合成手法、テクスチャ合成手法が提案されてきた。しかし、前者は物体のテクスチャ・形状変化を表現できない。また、後者はターゲット画像中のシーン構造を大きく変化させる。我々は、両手法を選択的に用いることで、ターゲット画像の構造を保持したまま、テクスチャ変化を表現する手法を開発した。具体的には、ターゲット画像中で色調合成が十分に学習画像内の変化を表現しているかどうかを予測し、そうでない部分(テクスチャ合成が必要な部分)のみにテクスチャを合成する。提案手法により、テクスチャの変化を伴う情景変化(樹木の変化、積雪、洪水など)を表現することが可能であることを実証した。以上の研究成果を、コンピュータグラフィックスのトップカンファレンスであるSIGGRAPH 2015に投稿した。