非伝統的モデルに基づく画像列からの物体形状・照明解析

本研究課題では画像からのパラメータ推定の高度化を目指している．この手法は画像生成の逆問題として定式化され，推定パラメータに基づく生成画像と入力画像の差を最小化するようにパラメータを反復的に最適化するものであり，順計算である画像生成を繰り返し行う必要がある．近年，画像生成専用ハードウェア（GPU）による高速なレイトレーシングが可能となっており，従来型グラフィクス（三角形に基づく描画）に比べ複雑な反射や影のある画像を扱うことができる．一方，複雑な画像の解析ではパラメータ推定の難易度も上がるため，新たな効率的な計算法の開発を要する．本年度は，前年度までの超楕円体（楕円体を含む）を利用した推定手法を拡張し，レイトレーシングによる画像生成からのパラメータ推定を実現した．(i) 物体表面のテクスチャを，物体形状と配置・光源位置等のパラメータと同時に推定する．レイトレーシングは，画像中の複雑な反射を計算する手法であり，ヤコビ行列（出力画像とテクスチャの関係）は複雑になる．この計算を効率的に行うためのデータ表現法と計算法を新たに考案し，それに基づくパラメータ推定法を実現した．(ii) 前年度にも検討した交互推定を用いる．一方，Schur補行列等の複雑な方法の利用は難しい． (iii) これらの計算は GPU 上で実行され，CPU を介することによるオーバーヘッドは低減されているが，数値微分のための数十枚の画像生成等は効率化の余地がある．(iv) レイトレーシングの利用は透視投影モデルとほぼ不可分であり，従来利用していた並行投影モデルから切り替えた．(v) レイトレーシングでは反射・影・屈折を扱うことが多いが，現時点では屈折には対応していない．(vi) 現時点で扱える3次元シーンの自由度が低いため，より一般的なシーンを容易に扱えるように一般化を要する．

本研究課題では画像からのパラメータ推定の高度化を目指している．この手法は画像生成の逆問題として定式化され，推定パラメータに基づく生成画像と入力画像の差を最小化するようにパラメータを反復的に最適化するものであり，順計算である画像生成を繰り返し行う必要がある．近年，画像生成専用ハードウェア（GPU）による高速なレイトレーシングが可能となっており，従来型グラフィクス（三角形に基づく描画）に比べ複雑な反射や影のある画像を扱うことができる．一方，複雑な画像の解析ではパラメータ推定の難易度も上がるため，新たな効率的な計算法の開発を要する．本年度は，前年度までの超楕円体（楕円体を含む）を利用した推定手法を拡張し，レイトレーシングによる画像生成からのパラメータ推定を実現した．(i) 物体表面のテクスチャを，物体形状と配置・光源位置等のパラメータと同時に推定する．レイトレーシングは，画像中の複雑な反射を計算する手法であり，ヤコビ行列（出力画像とテクスチャの関係）は複雑になる．この計算を効率的に行うためのデータ表現法と計算法を新たに考案し，それに基づくパラメータ推定法を実現した．(ii) 前年度にも検討した交互推定を用いる．一方，Schur補行列等の複雑な方法の利用は難しい． (iii) これらの計算は GPU 上で実行され，CPU を介することによるオーバーヘッドは低減されているが，数値微分のための数十枚の画像生成等は効率化の余地がある．(iv) レイトレーシングの利用は透視投影モデルとほぼ不可分であり，従来利用していた並行投影モデルから切り替えた．(v) レイトレーシングでは反射・影・屈折を扱うことが多いが，現時点では屈折には対応していない．(vi) 現時点で扱える3次元シーンの自由度が低いため，より一般的なシーンを容易に扱えるように一般化を要する．