複合現実感のための実時間再照明付与技術

1.研究の目的本研究課題は,実写とコンピュータグラフィクス(CG)が継ぎ目なく融合された複合現実感(MR)において,仮想照明による照明効果を実写とCG双方に違和感なく付与する再照明付与(Relighting)技術に関する研究を行うことを目的としており,そのために,実時間での照明条件の把握,写実的な照明の近似的表現法,効率的な実空間の幾何形状と反射特性の推定を行う.MR空間の光学的要素を意図的にかえることでの演出効果を得ることができる.H23年度は,この研究目的に従い研究を進めた.2.平成23年度の実施計画に照らした進捗状況(1)実時間照明推定を用いた光学的整合法光学的整合法の実現の第一ステップとして,光源環境マップを点光源で近似する手法を再照明付与の枠組みに導入した.また,実時間照明推定のために,ハーフミラーと2台のカメラを用いたHDRキャプチャ手法を開発した.このHDRキャプチャ技術を用いて鏡面球を観測すれば,変化する照明環境もHDRの光源環境マップとして収録可能となる.(2)再照明付与処理の実時間化再照明付与の実時間対応は,プログラマブルシェーダを用いたGPUの活用により実現できた.これまでの手法が,拡散反射のみに対応していたのに対して,Torrance-Sparrowモデルを用いたシェーダに変えることで,CG部分に対しては,鏡面反射成分も反映した描画を可能にした.(3)IBL (Image Based Lighting)技術の導入IBLとしては,(1)で示した通り,光源環境マップを点光源に近似することで,近似的なIBLを導入した.(4)実世界の幾何形状,表面反射特性の推定実物体の反射特性の推定として,滞在して研究していたUSC ICTが開発したLightStageの可搬型であるFree-Form型反射特性推定法を開発し,その方法で計測した反射特性により実物体を仮想化することで,写実的な再照明付与処理を実現できた.

1.研究の目的本研究課題は,実写とコンピュータグラフィクス(CG)が継ぎ目なく融合された複合現実感(MR)において,仮想照明による照明効果を実写とCG双方に違和感なく付与する再照明付与(Relighting)技術に関する研究を行うことを目的としており,そのために,実時間での照明条件の把握,写実的な照明の近似的表現法,効率的な実空間の幾何形状と反射特性の推定を行う.MR空間の光学的要素を意図的にかえることでの演出効果を得ることができる.H23年度は,この研究目的に従い研究を進めた.2.平成23年度の実施計画に照らした進捗状況(1)実時間照明推定を用いた光学的整合法光学的整合法の実現の第一ステップとして,光源環境マップを点光源で近似する手法を再照明付与の枠組みに導入した.また,実時間照明推定のために,ハーフミラーと2台のカメラを用いたHDRキャプチャ手法を開発した.このHDRキャプチャ技術を用いて鏡面球を観測すれば,変化する照明環境もHDRの光源環境マップとして収録可能となる.(2)再照明付与処理の実時間化再照明付与の実時間対応は,プログラマブルシェーダを用いたGPUの活用により実現できた.これまでの手法が,拡散反射のみに対応していたのに対して,Torrance-Sparrowモデルを用いたシェーダに変えることで,CG部分に対しては,鏡面反射成分も反映した描画を可能にした.(3)IBL (Image Based Lighting)技術の導入IBLとしては,(1)で示した通り,光源環境マップを点光源に近似することで,近似的なIBLを導入した.(4)実世界の幾何形状,表面反射特性の推定実物体の反射特性の推定として,滞在して研究していたUSC ICTが開発したLightStageの可搬型であるFree-Form型反射特性推定法を開発し,その方法で計測した反射特性により実物体を仮想化することで,写実的な再照明付与処理を実現できた.