Photo-realistic Image-based Modeling and Rendering in the Wild

本研究では，高精度な三次元復元と写実的なレンダリングを目的とし，平成29年から平成31年度の期間で主に高品質なテクスチャ生成とカメラの幾何学に関する研究を行った．研究期間の間に，高品質テクスチャ生成のための多視点カメラ画像からの外れ値除去（画像の認識・理解シンポジウム2019で登壇発表）のためのロバスト推定手法を開発し，既存手法に比して効果的に遮蔽によるテクスチャの外れ値が除去できることが確認できた．提案手法では，多視点画像から三次元形状復元の際に多視点画像間での対応点探索に用いられなかった画像領域を効率的に除去することでベースライン手法を上回る高品質なテクスチャ生成に成功している．また，三次元形状復元のために簡便な光源のキャリブレーション手法を開発した．本手法では，光源により照らされた未知の位置にある点が平面上に影を落とす際に，影の観察から光源と点の位置を同時に推定することが可能であることを示し，これを利用して光源の位置（あるいは方向）の推定が可能であることを示した．当該研究はコンピュータビジョン分野のトップ会議の一つであるEuropean Conference on Computer Vision (ECCV) 2018にて口頭発表論文に選出され（採択率は3.3%），国内外から高い評価を得た．以上の通り，本研究の目的であった高精度な三次元復元と写実的なレンダリングの研究を大きく前進することができた．

本研究では，高精度な三次元復元と写実的なレンダリングを目的とし，平成29年から平成31年度の期間で主に高品質なテクスチャ生成とカメラの幾何学に関する研究を行った．研究期間の間に，高品質テクスチャ生成のための多視点カメラ画像からの外れ値除去（画像の認識・理解シンポジウム2019で登壇発表）のためのロバスト推定手法を開発し，既存手法に比して効果的に遮蔽によるテクスチャの外れ値が除去できることが確認できた．提案手法では，多視点画像から三次元形状復元の際に多視点画像間での対応点探索に用いられなかった画像領域を効率的に除去することでベースライン手法を上回る高品質なテクスチャ生成に成功している．また，三次元形状復元のために簡便な光源のキャリブレーション手法を開発した．本手法では，光源により照らされた未知の位置にある点が平面上に影を落とす際に，影の観察から光源と点の位置を同時に推定することが可能であることを示し，これを利用して光源の位置（あるいは方向）の推定が可能であることを示した．当該研究はコンピュータビジョン分野のトップ会議の一つであるEuropean Conference on Computer Vision (ECCV) 2018にて口頭発表論文に選出され（採択率は3.3%），国内外から高い評価を得た．以上の通り，本研究の目的であった高精度な三次元復元と写実的なレンダリングの研究を大きく前進することができた．