Physics-based data augmentation using photometry-based 3d reconstruction

点击翻译按钮获取中文摘要

本研究課題では，測光学的な3次元形状復元技術によって高精細な形状及び反射特性の情報を獲得し，その情報に編集を加えることでデータ拡張を行うことを目指す．本年度は，主に反射特性の時間変化に着目した反射特性編集手法の研究を推進した．本研究では，反射特性の時間変化を実測したデータセットから，時間変化に関する情報を抽出し，新たな材質に時間変化情報のみを適用することで，実際には観測していない材質が時間変化した際の見えを再現することを考える．時間変化情報の抽出とその適用には，画像編集などで用いられる，特徴空間への埋め込みと特徴空間での編集手法を用いる．このアプローチでは，まずデータを特徴空間へ射影するエンコーダと特徴空間からデータを復元するデコーダを学習する．学習したエンコーダによって射影された特徴空間上での変化はデータの変化を反映しており，また，特徴ベクトルに変化を加えることによって，デコーダによって復元されるデータを変化させることが可能である．提案手法では，時刻ごとにエンコーダによって埋め込んだ時系列特徴ベクトルを用いて，特徴空間上での時間変化を学習する．この学習には，系列データを扱うニューラルネットワーク構造の1つであるTransformer構造を用いる．推定時には，時刻0の反射特性が与えられたとき，まずエンコーダによって特徴空間へ埋め込み，時間変化を学習したモデルによって所望の時刻の特徴ベクトルへと射影する．最後にデコーダに入力することによって所望時刻の反射特性が得られる．今後の方針としては，時間変化を適用したデータに対する評価手法の検討と，データ拡張の側面からの検討を行う予定である．