質感再現のための任意視点画像生成ネットワーク

点击翻译按钮获取中文摘要

本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。