权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

High-fidelity 3D reconstruction based on physics-based modeling

基于物理建模的高保真 3D 重建

基本信息

批准号：
19J10326
负责人：
山藤浩明
金额：
$ 1.34万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

项目摘要

光を用いた高精細な3次元形状復元を実現するために，下記の2つの観点から研究を推進した．本研究ではとくに，固定されたカメラと複数の光源を用いて，光源環境を変化させながら撮影した複数枚の画像から物体形状を推定する，照度差ステレオ法を用いる．(1)多くの既存の照度差ステレオ法では，対象物体の3次元形状を獲得することを目的に，物体表面の傾き，すなわち法線方向の推定する．一方でバーチャルリアリティなどへの応用を考えると，物体の"見え"を再現するためには，形状に加えて反射特性を推定することが必要である．そこで本研究では，これまでの深層学習に基づく照度差ステレオ法を拡張し，形状と反射特性の同時推定を実現した．結果として，対象物体の"見え"を任意の光源環境下で再現することができる．本研究成果は著名な国際論文誌であるIEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8)に採録決定済みである．(2)既存の多くの照度差ステレオ法では，対象物体を撮影する光源環境に関して，点光源が無限遠に存在し，対象物体は平行光線をうける，と仮定してきた．しかし，実環境において無限遠光源を実現することは不可能であり，高精度な推定の実現には，近接点光源による影響を考慮することが重要である．この観点から，これまでの深層学習を用いた(無限遠光源を仮定する)照度差ステレオ法の，近接光源環境への拡張を行った．結果として，従来の近接光源を仮定した照度差ステレオ法では扱うことが困難であった様々な反射特性を持つ材質の物体に対して，高精度な推定が可能な手法を実現した．本研究成果は著名な国際会議であるEuropean Conference on Computer Vision (h-index: 144)において発表したものである．

The optical device uses a high-precision three-dimensional shape to see the image, and the following two points are used to study the improvement. In this study, the light source is fixed, the multiplicative light source is used, the light source environment is modified, the shadow is summarized, and several portraits are used to determine the shape of the object. The illuminance difference method uses the illuminance difference method. (1) the existing illuminance difference method is used. The three-dimensional shape of the object is used to determine the purpose of the object, the surface of the object, the direction of the surface and the direction of the line of the object is presumed to be correct. The shape adds the reflection characteristic to the presumption that the reflection characteristic is not necessary. In this study, the basic illumination difference method is used in this study, and the reflection property of the shape is presumed to be present at the same time. The result of this study is that the famous international academic journal IEEE Transactions on Pattern Analysis and Machine Intelligence (IF: 17.8) determines the performance of the light source. (2) there is a method for determining the difference of illuminance between the light source and the point light source. For example, the parallel line of light of an object can not be detected, the environmental environment can not be detected by an open-ended light source, and it is not possible to be detected by a high-precision illuminant. close-to-point light source is sensitive to important data. It is possible to use the illuminance measurement method (no limit to the light source setting device) illuminance measurement. The proximity of the light source environment is very good. Results the results show that the close light source determines the difference in illuminance. The difference in illuminance does not affect the reflectivity of the material. High-precision presumption may be possible. The results of this study are well-known in the International Conference on European Conference on Computer Vision (h-index: 144C).