Lighting Environment Estimation based on Structural Coloration

シーンの光源環境推定は，拡張現実における実環境とバーチャル物体の光学的整合性の維持において重要な役割を果たし，さらにロボットの視覚センサとして周辺環境を理解する際にも重要となる処理であるなど，コンピュータビジョンにおいて重要な課題の一つである．本研究では数理モデルとニューラルネットワークを組み合わせて用い，シーンの光源環境を推定する手法の確立を目指している．具体的に本研究課題では，構造色を手がかりとした光源のパラメータ推定を目的とする．構造色とは，薄膜や微粒子，微小な溝など，光の波長以下の微細構造により発生する光路差に起因する発色であり，観測視点および光源の方向に依存して観測される色が変化する特徴を有している．構造色の発色パターンからシーンに存在する光源の方向や分光分布を推定するモデルを，数理・機械学習の両面からアプローチして構築する．令和4年度においては，当初設定したサブトピックのうちの1つ，単一構造色パターンからの光源推定に令和3年度に引き続いて取り組んだ．本研究では構造色を発する光ディスクを参照物体として観測し，観測された構造色パターンから発色パターンをモデル化する枠組みを導入した．光源の方向と分光分布が推定可能なニューラルネットワークを構成し，分光分布が既知の光源と全方位カメラを用いて収集したデータを用いてネットワークを学習させた．暗室環境や室内環境において，支配的な光源の方向および分光分布を推定可能であるか実験を行い，提案手法の有効性を検討した結果，提案手法により光ディスクから光源方向と分光分布を推定可能であることが示された．現在はこれらの結果を英文論文誌に投稿するために準備している．また，光線空間からの自由視点画像生成に関する研究を並行して行い，光線空間から構造色の光源環境推定に関する知見を得た．

シーンの光源環境推定は，拡張現実における実環境とバーチャル物体の光学的整合性の維持において重要な役割を果たし，さらにロボットの視覚センサとして周辺環境を理解する際にも重要となる処理であるなど，コンピュータビジョンにおいて重要な課題の一つである．本研究では数理モデルとニューラルネットワークを組み合わせて用い，シーンの光源環境を推定する手法の確立を目指している．具体的に本研究課題では，構造色を手がかりとした光源のパラメータ推定を目的とする．構造色とは，薄膜や微粒子，微小な溝など，光の波長以下の微細構造により発生する光路差に起因する発色であり，観測視点および光源の方向に依存して観測される色が変化する特徴を有している．構造色の発色パターンからシーンに存在する光源の方向や分光分布を推定するモデルを，数理・機械学習の両面からアプローチして構築する．令和4年度においては，当初設定したサブトピックのうちの1つ，単一構造色パターンからの光源推定に令和3年度に引き続いて取り組んだ．本研究では構造色を発する光ディスクを参照物体として観測し，観測された構造色パターンから発色パターンをモデル化する枠組みを導入した．光源の方向と分光分布が推定可能なニューラルネットワークを構成し，分光分布が既知の光源と全方位カメラを用いて収集したデータを用いてネットワークを学習させた．暗室環境や室内環境において，支配的な光源の方向および分光分布を推定可能であるか実験を行い，提案手法の有効性を検討した結果，提案手法により光ディスクから光源方向と分光分布を推定可能であることが示された．現在はこれらの結果を英文論文誌に投稿するために準備している．また，光線空間からの自由視点画像生成に関する研究を並行して行い，光線空間から構造色の光源環境推定に関する知見を得た．