質感再現のための任意視点画像生成ネットワーク

用于纹理再现的任意视点图像生成网络

• 批准号: 22K12088
• 负责人: 小室 孝
• 金额: $ 2.66万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12088/
• 关键词: 質感再現; 任意視点画像; 深層学習; 画像変換

本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。

This year, the first step in the direction of texture reproduction, specular reflection, and viewpoint compensation for metal objects Image conversion is used to improve the U-Net, four-corner image and viewpoint coordinates, and arbitrary viewpoint position is used to improve the image. CG is used to detect the reflection of metal objects. The results of this study were presented at the Computer Graphics International 2022 (CGI 2022) conference and presented in the paper Virtual Reality & Intelligent Hardware. For example, the surface of the scattered object is the same as the surface of the metal object. The reflection characteristics of the metal object are different. The proposed method is applicable. The texture of the metal object is reproduced in the image of the line. The environment is used to create CG images of metal objects. The number of loss components of a product is changed from one to another. This is the first time that we've seen this, and we've seen this before. The introduction of GAN and AR is a part of the pre-determined plan for the next two years.

项目成果

View Interpolation Networks for Reproducing Material Appearance of Specular Objects

• DOI: 10.1016/j.vrih.2022.11.001
• 发表时间: 2023-02
• 期刊: Virtual Real. Intell. Hardw.
• 作者: Chihiro Hoshizawa;T. Komuro