安価なRGBカメラでのセグメンテーション精度向上のための光学フィルタの設計

本研究の目的は、広く普及している安価なRGBカメラを用いたセマンティックセグメンテーション精度向上のための光学フィルタ設計法の確立である。通常、RGBカメラは可視光をイメージセンサ直前に置いたRGBカラーフィルタによって適当に重み付けを行い、3バンド画像として世界の光量を記録している。本研究では、元の光信号が連続スペクトルであることに立ち返り、RGBカラーフィルタによる3バンド重みづけ撮像を行う前に、目的のための最適波長を選択する枠組みを構築する。そのため深層学習により、(1)RGBカラー画像のセグメンテーションニューラルネットワーク、(2)RGBカラーフィルタ前に配置する光学フィルタの分光透過率、の2つを同時にend-to-endで学習することで、連続スペクトル情報を有効に利用し、かつ設計された光学フィルタに対し最適なセグメンテーションニューラルネットワークを同時に実現するセグメンテーションの仕組みを実現する。本年度は、前年度に見つかった光学フィルタの入射角依存性に対応し、積層薄膜フィルタの分光透過特性・分光反射特性を計算するTMM-fastのライブラリを利用しながら、正面入射と斜め入射の両方で所望の分光透過特性に近い特性が得られるよう膜厚リストを求める手法を提案した。これにより特に斜め入射では所望の分光透過特性の平均絶対誤差(MAE)を50%減らすことができ、認識ニューラルネットワークの性能がmIoUで0.3%程度向上することを確認した。

本研究の目的は、広く普及している安価なRGBカメラを用いたセマンティックセグメンテーション精度向上のための光学フィルタ設計法の確立である。通常、RGBカメラは可視光をイメージセンサ直前に置いたRGBカラーフィルタによって適当に重み付けを行い、3バンド画像として世界の光量を記録している。本研究では、元の光信号が連続スペクトルであることに立ち返り、RGBカラーフィルタによる3バンド重みづけ撮像を行う前に、目的のための最適波長を選択する枠組みを構築する。そのため深層学習により、(1)RGBカラー画像のセグメンテーションニューラルネットワーク、(2)RGBカラーフィルタ前に配置する光学フィルタの分光透過率、の2つを同時にend-to-endで学習することで、連続スペクトル情報を有効に利用し、かつ設計された光学フィルタに対し最適なセグメンテーションニューラルネットワークを同時に実現するセグメンテーションの仕組みを実現する。本年度は、前年度に見つかった光学フィルタの入射角依存性に対応し、積層薄膜フィルタの分光透過特性・分光反射特性を計算するTMM-fastのライブラリを利用しながら、正面入射と斜め入射の両方で所望の分光透過特性に近い特性が得られるよう膜厚リストを求める手法を提案した。これにより特に斜め入射では所望の分光透過特性の平均絶対誤差(MAE)を50%減らすことができ、認識ニューラルネットワークの性能がmIoUで0.3%程度向上することを確認した。