精緻で豊かな計算機視覚の実現に向けた認識と復元の統合

点击翻译按钮获取中文摘要

人間の高次視覚は、見ているものを認識し、その物理的構成等を復元するという二つの重要な機能を備えており、これらの機能が密接に連携することにより、豊かな視覚知能を実現している。一方、コンピュータビジョンにおいて実世界の認識と復元は、互いに独立してその機能の実現が追究されてきた。本研究では、画像に写されたものを認識することによりそれらの復元が精緻になり、逆にその物理的構造や特性を明示的に復元することにより認識がより精確になるよう、両者の有機的統合を、統計的機械学習にもとづいた見通しの良い定式化と効率的な推定手法の導出により実現することを目指した。この目標に向け、事業期間において単一画像からの形状、反射特性、光源状況と物体姿勢の推定手法、幾何的特徴を保持する統計的モデルによる物体形状表現法、主に水中を含む物体のより精確な3次元幾何形状の復元手法、水面反射による形状復元手法の導出、さらに、深層学習生成モデルを用いた新たな反射特性モデルの導出、これを用いた単一画像からの反射特性と光源状況の復元、偏光ステレオカメラを用いた物体の精緻な三次元形状復元、そして偏光単眼視による空の偏光分布を用いた物体形状復元など、物体や光景の見えからの反射特性や精密な形状を中心とした物理量の表現や復元手法を多く導出した。また、深層学習モデルを用いた物体認識の真値ラベリングためのビデオにおける画素ごとのラベルの効率的な補間手法や、画素ごとの素材同定の新たな手法を導出した。これらの研究成果により、精緻な視覚からの認識、さらには認識された物体や光景に特化された物理量の復元のための基盤技術を確立し、それらの統合的利用も具体的に試行した。これら研究成果は当該分野のトップ国際会議を含め対外発表ならびに国際論文誌投稿をおこない、その成果の普及に努めた。これらのうち一件については、Best Student Paperを受賞した。また、特に形状復元技術に関し、いくつかの特許申請あるいは申請準備をおこなっている。