赤外域の透過・反射・熱特性を駆使した投影型拡張現実のための画像センシング

点击翻译按钮获取中文摘要

本年度は、前年度に引き続き、赤外画像を利用した皮膚変形の推定手法の研究に着手した。前年度までの検討に基づき、中・遠赤外域の画像を用いた機械学習による手法の設計に取り組んだ。本年度は主に前年度に検証した手法の改善に努めた。本手法では、皮膚変形として、カメラ画像上での皮膚表面の2次元座標の推定を目的とした。カメラと同軸化されたプロジェクタを用いる場合、このようにカメラから見えている部分の表面座標が推定できれば、投影によって皮膚テクスチャの外観操作が実現できると考えられる。この問題設定のもと、中・遠赤外画像から皮膚表面の2次元座標を可視化した画像を生成する手法を試みた。具体的には、条件付き敵対的生成ネットワークに基づく画像変換を行うニューラルネットワークをもとに手法を構築した。また、画像の前処理や損失関数のバリエーションに対する挙動を検証した。検証の結果、皮膚の動きに整合した投影像の変化を確認することができたが、投影型拡張現実へ適用するためには、さらなる高精度化が必要であることがわかった。また、皮膚変形推定をサポートする連携手法として、非剛体3次元トラッキングの研究にも取り組んだ。本年度は、非剛体3次元トラッキングを高速化するために、変形グラフの生成において、剛体運動とみなせる領域のノードを動的に削減する手法を構築した。検証の結果、トラッキングの精度を落とすことなく、高速化が可能であることが分かった。次に、可視域と赤外域の異なる波長間の反射特性の違いを利用した動的な周囲環境の把握に着手した。本年度は、このような手法に有効な素材を探す作業を実施した。具体的には、可視光域で拡散反射性が強く、中・遠赤外域で鏡面反射性が強い条件を満たすような素材を探した。3次元プリント可能な素材や加工が可能な素材などに関して反射特性を検証し、実験に利用できる対象と条件の可能性を絞り込んだ。