パターン類似度に基づくエネルギー最小化による多次元画像データの欠損修復

1、実環境を計測した際の、遮蔽等による計測漏れによって発生する三次元モデルにおける欠損領域の形状とテクスチャを同時に修復する手法の開発を行った。具体的には、昨年度に作成した形状の類似度評価に加えて、三次元モデルのテクスチャの類似度評価法を設計し、それらの重み付き総和を用いることで、多くの現実物体に見られる形状とテクスチャの相関を考慮した、形状のためとテクスチャのための異なる二つのエネルギー関数を定義した。次に、定義したエネルギー関数を交互に最小化することで、欠損領域の形状とテクスチャを同時に最適に修復する手法を開発した。レーザレンジファインダを用いて実物体を計測して作成した小物体の三次元モデル及び、カリフォルニア大学バークレー校の研究室において計測により作成された建物の屋内の三次元モデルに対して欠損修復を行い、主観的に評価することで、提案手法が形状とテクスチャを同時に違和感なく修復できることを確認した。2、静止画像の不要な領域を取り除き、欠損領域を自動的に補間する画像修復手法の開発を行った。具体的には、明度と幾何学的な変換を許容したエネルギー関数を定義し、画像内で近接するパターン間の相対的な位置関係を考慮することで効率的にエネルギーを最小化し、欠損を修復する手法を開発した。3、静止画像に対する欠損修復手法を応用することで死角のない全方動画像の生成手法の開発を行った。具体的には、Structure-from-motion法を用いることで、死角領域周辺における撮影対象の形状とカメラの運動を推定し、テクスチャの変形補正及び、修復の事例として用いる画像領域の限定を行うことで、死角領域の修復を行う手法を開発した。移動しながら全方位カメラにより撮影された実シーンに対して死角のない全方位動画像を生成することで、提案手法の有効性を確認した。

1、実環境を計測した際の、遮蔽等による計測漏れによって発生する三次元モデルにおける欠損領域の形状とテクスチャを同時に修復する手法の開発を行った。具体的には、昨年度に作成した形状の類似度評価に加えて、三次元モデルのテクスチャの類似度評価法を設計し、それらの重み付き総和を用いることで、多くの現実物体に見られる形状とテクスチャの相関を考慮した、形状のためとテクスチャのための異なる二つのエネルギー関数を定義した。次に、定義したエネルギー関数を交互に最小化することで、欠損領域の形状とテクスチャを同時に最適に修復する手法を開発した。レーザレンジファインダを用いて実物体を計測して作成した小物体の三次元モデル及び、カリフォルニア大学バークレー校の研究室において計測により作成された建物の屋内の三次元モデルに対して欠損修復を行い、主観的に評価することで、提案手法が形状とテクスチャを同時に違和感なく修復できることを確認した。2、静止画像の不要な領域を取り除き、欠損領域を自動的に補間する画像修復手法の開発を行った。具体的には、明度と幾何学的な変換を許容したエネルギー関数を定義し、画像内で近接するパターン間の相対的な位置関係を考慮することで効率的にエネルギーを最小化し、欠損を修復する手法を開発した。3、静止画像に対する欠損修復手法を応用することで死角のない全方動画像の生成手法の開発を行った。具体的には、Structure-from-motion法を用いることで、死角領域周辺における撮影対象の形状とカメラの運動を推定し、テクスチャの変形補正及び、修復の事例として用いる画像領域の限定を行うことで、死角領域の修復を行う手法を開発した。移動しながら全方位カメラにより撮影された実シーンに対して死角のない全方位動画像を生成することで、提案手法の有効性を確認した。