質感再現のための任意視点画像生成ネットワーク

用于纹理再现的任意视点图像生成网络

• 批准号: 22K12088
• 负责人: 小室 孝
• 金额: $ 2.66万
• 依托单位: Saitama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12088/
• 关键词: 質感再現; 任意視点画像; 深層学習; 画像変換

本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。

This year, the first step of the に, texture reproduction に to けて <e:1> is と <s:1> て, and the mirror reflection を with う metal object <s:1> viewpoint completion を test みた. Portrait variations in に よ く with い ら れ る deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク で あ る U -.net を improved し, four corner で の portraits of shadow と point coordinates を と into force し, arbitrary の viewpoint position に お け る portrait を output す る よ う に し た. CG を with い た be 験 に よ り の reflection が proposal, metal object technique に よ り reappearance で き る こ と を confirm し た. The research results of this study are で CG field である major International conference である Computer Graphics International 2022 (CGI 2022) で presentation で, subsequent に paper が Virtual Reality & Intelligent Hardware Youdaoplaceholder0 publishes された. さ ら に, superficial scattered を objects with う に し seaborne て も with others の be 験 を line だ い, metal object け で な く よ り complex 雑 な reflection characteristics を hold つ object に も proposal gimmick が applicable で き る こ と を shown し た. Youdaoplaceholder0, スタ, <s:1>, the transformation of によ, the normal portrait of によ, the <s:1> texture of the metal object を, the reproduction of する, the experience of を, and the った. Environmental マ ッ プ を use し て weeks 囲 environment が reflected り 込 ん だ metal objects の portrait を CG で generated し, ネ ッ ト ワ ー ク の training に with い た. ス タ イ ル variations in の representative な ネ ッ ト ワ ー ク で あ る pix2pix の ネ ッ ト ワ ー ク constitute や loss masato number を - more す る こ と で, リ ア ル な reflected り 込 み を reappearance す る こ と が で き た. こ の be 験 に よ り, reflected り 込 み が の texture object prompt に お い て important な "を cut fruit た す こ と が reinterprets さ れ, future の viewpoint between の be 験 に も raw か す こ と が で き る knowledge を must ら れ た. こ の ほ か, GAN の import や AR ア プ リ ケ ー シ ョ ン の be loaded な ど, two years in に designated し て い た project の a を first し て line う な ど, shun な ペ ー ス を で research into め て い る.

项目成果

View Interpolation Networks for Reproducing Material Appearance of Specular Objects

• DOI: 10.1016/j.vrih.2022.11.001
• 发表时间: 2023-02
• 期刊: Virtual Real. Intell. Hardw.
• 作者: Chihiro Hoshizawa;T. Komuro