权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

物理的演繹モデルと帰納的深層学習の融合によるしなやかな画像理解

通过物理演绎模型和归纳深度学习的融合灵活的图像理解

基本信息

批准号：
21H04893
负责人：
西野恒
金额：
$ 26.71万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-05 至 2026-03-31
项目状态：
未结题

项目摘要

今年度は、昨年度の精緻な3次元形状復元に関する研究をさらに発展させ、光源状況の推定も同様に解析的な生成モデルを仮定しつつ、帰納的学習によって、反射特性を３次元形状とともに同時推定する手法について研究を進めた。特にマルチビューステレオと呼ばれる、複数枚の画像から形状復元をおこなう手法に着目し、従来仮定される拡散反射特性にとどまらない、さまざまな表面反射をおこなう物体に関して、形状とともに反射特性を求める手法を導出した。これは、単一の画像から物体表面の法線を深層学習モデルによって推定し、それらを物体表面の特徴量として新たなマルチビューステレオ法を構成することによって実現した。法線を視点不変の特徴量としてコストボリュームを構築し、視点間対応および3次元座標を大域的な最適解として求める本手法は新規性が高く、様々な反射特性の物体表面を正確に復元できることを実証した。また、特に自動運転等において重要となる道路光景の素材認識に関する研究も進めた。素材に関する視覚的情報を、各画素と近傍におけるテクスチャを代表とする局所的特徴量だけではなく、それらの画素がどういった物体を構成しているか、またそれらの物体間の画像全体における大局的位置関係を考慮した新たな深層学習モデルを導出し、正確に各画素の素材を認識できることを示した。本研究も極めてノイジーな解空間における大域的な最適解を求める手法を確立するものであり、前述の成果とともに、計画された研究目標を達成するものである。

This year, the research on refined three-dimensional shape reconstruction has been developed, and the generation and analysis of light source conditions have been determined, and the study of absorption, reflection characteristics, three-dimensional shape reconstruction and simultaneous estimation methods have been developed. The method of calculating the scattering reflection characteristics of the object is as follows: This is a picture of the surface of the object, the normal line of the object, the estimation of the surface of the object, the new characteristic of the object, and the construction of the object. Normal line, viewpoint, non-variable characteristic quantity, three-dimensional coordinate, large domain, optimal solution, new method, high inversion, reflection characteristic, object surface, correct reconstruction, verification. The research on the material knowledge of road conditions is very important, such as automatic transportation and so on. The image of the object is composed of the following characteristics: This study aims to establish a method for finding the optimal solution in a large domain, and to achieve the objectives of the study.