カラー構造化光パターン設計に基づくワンショット分光3D計測

点击翻译按钮获取中文摘要

本研究では、汎用のプロジェクタとカメラを用いて、物体3D形状(デプス)と物体表面の分光反射率を同時に計測可能な、低コストかつ実用的なワンショット分光3D 計測システムの開発を目的としている。研究計画2年目である2022年度は、初年度に開発したベースとなるシステムを拡張し、自己教師あり学習により学習させる手法の検討を実施した。初年度の学習手法では、独自開発した画像生成シミュレーターにより合成したデータを用いることで、効率の良い学習データ生成を実現した。一方で、実世界で安定かつ高精度にシステムを機能させるためには、シミュレーター上の仮想システム・仮想物体と、実システム・実物体の間のギャップに対応する必要がある。それを回避するためには、実システムで撮影した画像と共に真値となる分光反射率とデプスが付随する学習データを大量に取得して学習させることが理想的であるが、データ取得にかかる労力の面から容易ではない。そこで、真値となる分光反射率とデプスを必要とせず、実システムで撮影した画像のみを用いた自己教師あり学習手法の提案を行い、その効果検証をシミュレーションおよび実実験の両面から実施中である。開発したベースシステムについては、2022年6月開催のコンピュータビジョンのトップ国際会議であるCVPR2022で発表した。また、2023年6月開催の画像センシングシンポジウム(SSII2023)でも発表予定である。現在取り組んでいる拡張内容については、十分な効果が得られ次第、学術論文誌への投稿を予定している。