幾何学的・光学的整合性を考慮した拡張現実感に関する研究

点击翻译按钮获取中文摘要

本研究では、カメラで撮影した映像に仮想物体を合成するビデオシースルー型拡張現実感において、幾何学的整合性と光学的整合性を同時に解決するためのマーカとして、3次元マーカを提案した。3次元マーカとは、幾何学的整合性の解決のための正方マーカと、光学的整合性を解決するための鏡面の球体を組み合わせたマーカである。本年度は、単眼カメラで撮影された映像に対し、幾何学的・光学的整合性を解決する手法の開発を行った。3次元マーカを現実環境に配置し、観測者の視点付近に取り付けられた単眼カメラにより撮影した映像を計算機に入力し、幾何学的・光学的整合性の解決を図った。さらにステレオカメラを用いて実空間の3次元形状を推定することで、動的な実環境に対応可能な拡張現実感環境の構築を試みた。開発を行った技術を以下に述べる。1.現実環境と仮想環境の3次元位置合わせ処理(幾何学的整合性):現実環境と仮想環境の3次元位置合わせは観測者の視点位置の推定問題と等価である。申請者がこれまでに提案してきた手法を用いて視点位置推定を行う。具体的には、形状が既知である2次元マーカを、ステレオカメラで撮影された映像から画像処理により検出し、マーカと観測者の視点位置の3次元位置関係を推定する。2.現実環境における光源環境の推定処理(光学的整合性):本手法では、現実環境に配置した鏡面球体の映り込み領域を、撮影された映像から抽出し、光源環境推定を行う。前述の処理(A)により、映像内のマーカの位置を検出することにより、3次元マーカの鏡面球体が撮影されている領域の映像内における位置が推定できる。次に、鏡面物体に映り込んだ映像から現実環境の光源環境の推定を行う。抽出された領域内で輝度値の大きい画素に光源が映り込んでいると考えられるため,各画素の輝度値がその方向に存在する光源の強さであるとする.各画素の球面上における法線と視線方向から各画素に映り込でいる光源の方向を推定することで、光源環境マップの作成を行った.なお,光源の色は,画像におけるRGBの輝度値を利用することで推定する。3.ステレオカメラを用いた実環境の実時間3次元形状推定ステレオカメラを用いて撮影した映像を用いて、実空間の3次元形状を実時間で推定することで、動的な実環境に対応した仮想物体の影付けが可能な拡張現実感環境の構築を行った。本研究では、実環境中の最も強い光源1つが生成する影に関して、動的な実環境において正確な影が生成可能であることを確認した。