物理的演繹モデルと帰納的深層学習の融合によるしなやかな画像理解

点击翻译按钮获取中文摘要

今年度は、昨年度の精緻な3次元形状復元に関する研究をさらに発展させ、光源状況の推定も同様に解析的な生成モデルを仮定しつつ、帰納的学習によって、反射特性を３次元形状とともに同時推定する手法について研究を進めた。特にマルチビューステレオと呼ばれる、複数枚の画像から形状復元をおこなう手法に着目し、従来仮定される拡散反射特性にとどまらない、さまざまな表面反射をおこなう物体に関して、形状とともに反射特性を求める手法を導出した。これは、単一の画像から物体表面の法線を深層学習モデルによって推定し、それらを物体表面の特徴量として新たなマルチビューステレオ法を構成することによって実現した。法線を視点不変の特徴量としてコストボリュームを構築し、視点間対応および3次元座標を大域的な最適解として求める本手法は新規性が高く、様々な反射特性の物体表面を正確に復元できることを実証した。また、特に自動運転等において重要となる道路光景の素材認識に関する研究も進めた。素材に関する視覚的情報を、各画素と近傍におけるテクスチャを代表とする局所的特徴量だけではなく、それらの画素がどういった物体を構成しているか、またそれらの物体間の画像全体における大局的位置関係を考慮した新たな深層学習モデルを導出し、正確に各画素の素材を認識できることを示した。本研究も極めてノイジーな解空間における大域的な最適解を求める手法を確立するものであり、前述の成果とともに、計画された研究目標を達成するものである。