High-fidelity 3D reconstruction based on physics-based modeling

光を用いた高精細な3次元形状復元を実現するために，下記の2つの観点から研究を推進した．本研究ではとくに，固定されたカメラと複数の光源を用いて，光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する，照度差ステレオ法を用いる．(1)多くの既存の照度差ステレオ法では，対象物体の3次元形状を獲得することを目的に，物体表面の傾き，すなわち法線方向の推定する．一方でバーチャルリアリティなどへの応用を考えると，物体の"見え"を再現するためには，形状に加えて反射特性を推定することが必要である．そこで本研究では，これまでの深層学習に基づく照度差ステレオ法を拡張し，形状と反射特性の同時推定を実現した．結果として，対象物体の"見え"を任意の光源環境下で再現することができる．本研究成果は著名な国際論文誌であるIEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8)に採録決定済みである．(2)既存の多くの照度差ステレオ法では，対象物体を撮影する光源環境に関して，点光源が無限遠に存在し，対象物体は平行光線をうける，と仮定してきた．しかし，実環境において無限遠光源を実現することは不可能であり，高精度な推定の実現には，近接点光源による影響を考慮することが重要である．この観点から，これまでの深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の，近接光源環境への拡張を行った．結果として，従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して，高精度な推定が可能な手法を実現した．本研究成果は著名な国際会議であるEuropean Conference on Computer Vision (h-index: 144)において発表したものである．

光を用いた高精細な3次元形状復元を実現するために，下記の2つの観点から研究を推進した．本研究ではとくに，固定されたカメラと複数の光源を用いて，光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する，照度差ステレオ法を用いる．(1)多くの既存の照度差ステレオ法では，対象物体の3次元形状を獲得することを目的に，物体表面の傾き，すなわち法線方向の推定する．一方でバーチャルリアリティなどへの応用を考えると，物体の"見え"を再現するためには，形状に加えて反射特性を推定することが必要である．そこで本研究では，これまでの深層学習に基づく照度差ステレオ法を拡張し，形状と反射特性の同時推定を実現した．結果として，対象物体の"見え"を任意の光源環境下で再現することができる．本研究成果は著名な国際論文誌であるIEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8)に採録決定済みである．(2)既存の多くの照度差ステレオ法では，対象物体を撮影する光源環境に関して，点光源が無限遠に存在し，対象物体は平行光線をうける，と仮定してきた．しかし，実環境において無限遠光源を実現することは不可能であり，高精度な推定の実現には，近接点光源による影響を考慮することが重要である．この観点から，これまでの深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の，近接光源環境への拡張を行った．結果として，従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して，高精度な推定が可能な手法を実現した．本研究成果は著名な国際会議であるEuropean Conference on Computer Vision (h-index: 144)において発表したものである．