Physics-based vision under uncontrolled illumination environmnent based on contrastive feature disentanglement

点击翻译按钮获取中文摘要

異なる陰影画像から被写体の表面法線を復元するフォトメトリックステレオ法は、暗室下での厳密な照明環境の制御や事前の光源校正が必要で実応用への障害が非常に高かった。この課題を解決するために、世界初の光源についての知識を必要としないフォトメトリックステレオ法を実現し、これをユニバーサルフォトメトリックステレオ法と名付けた。従来手法では事前に定義された物理照明モデルに則って被写体の表面法線の復元が行われていたが提案手法では、物理モデルの代わりに非物理照明モデルである大域照明コンテクスト (Global Lighting Context)を提案し、これにより表面上の各点において非一様な照明条件の設定を可能にした。また、従来のフォトメトリックステレオは深層学習を用いることによって精度の向上がなされたと同時に、扱える入力画像の解像度の限界が存在した。しかし提案手法では、規定解像度（Canonical Resolution）を定義し、重要で重い処理を入力解像度よりも小さなその解像度でのみ行う事によって計測のスケーラビリティを実現した。ユニバーサルフォトメトリックステレオは世界で初めて非一様な照明環境下でのフォトメトリックステレオを実現し、フォトメトリックステレオの社会応用へ大きな一歩を与える革新的成果である。また、本研究の成果で特筆すべき点として、ニューラルネットワークの学習に一切実データを利用しなかったという点が挙げられる。これは、合成画像と自然画像の間のドメインギャップのため一般的には好まれない方法であるが、フォトメトリックステレオという特殊な問題設定においては極めて有効であることが示された。