Single Image Reflection Removal Using Advanced Meta-Learning

近年,ガラス等の透明な媒体の背後で撮影した際に, 背後にある物体等が写真に映り込むことが度々発生する. この映り込みは, 画像を劣化させるだけではなく, 物体検出・セグメンテーション等のコンピュータビジョンタスクにも影響を与える. 画像中にある反射光を分離させることは, 人間にとってはあまり難しいことではないが, コンピュータビジョンにおいては, 大変困難な問題である.本研究では，メタ学習を用いた単一画像の映り込み除去（SIRR）を提案している．提案法は我々の過去の成果を発展させる新しいアプローチで，少量の学習データから映り込みを効率的に除去し，実環境に応用可能なSIRRを構築するには何を解決すべきかを明らかにするのが，本研究の学術的「問い」である．今年は本提案手法を比較するため，合成画像を作成し, 学習データの枚数を増やす. また, 深層学習モデルとしてDeepLabv3+を採用した反射光除去を提案した. 広範囲コンテキストな情報を効率的に得ることができ, 反射光の除去に有効した. 反射光除去で一般的に使用される評価方法であるPNSR, SSIMを用いて提案手法の精度を測定した.また，本研究では，様々な学習条件に基づいて実験を複数行った．変更させる学習条件は，学習データのみである．それ以外は変化させずに，Model-Agnostic Meta-Learning(MAML)を使用した提案手法とMAMLを使用していない従来手法との対照実験を行った．実験を通して，従来手法より良好な結果を示したため，一定の成果が得られたことが確認できた．メタ学習はクラス分類・回帰問題等で成果を残しているが，SIRR分野では未知の領域だった．しかし，実験結果より，MAMLを使用していない従来手法や他論文の手法より，本論文の提案手法が優れた結果を残した．故に，メタ学習がSIRRに有効なことが確認できた．

近年,ガラス等の透明な媒体の背後で撮影した際に, 背後にある物体等が写真に映り込むことが度々発生する. この映り込みは, 画像を劣化させるだけではなく, 物体検出・セグメンテーション等のコンピュータビジョンタスクにも影響を与える. 画像中にある反射光を分離させることは, 人間にとってはあまり難しいことではないが, コンピュータビジョンにおいては, 大変困難な問題である.本研究では，メタ学習を用いた単一画像の映り込み除去（SIRR）を提案している．提案法は我々の過去の成果を発展させる新しいアプローチで，少量の学習データから映り込みを効率的に除去し，実環境に応用可能なSIRRを構築するには何を解決すべきかを明らかにするのが，本研究の学術的「問い」である．今年は本提案手法を比較するため，合成画像を作成し, 学習データの枚数を増やす. また, 深層学習モデルとしてDeepLabv3+を採用した反射光除去を提案した. 広範囲コンテキストな情報を効率的に得ることができ, 反射光の除去に有効した. 反射光除去で一般的に使用される評価方法であるPNSR, SSIMを用いて提案手法の精度を測定した.また，本研究では，様々な学習条件に基づいて実験を複数行った．変更させる学習条件は，学習データのみである．それ以外は変化させずに，Model-Agnostic Meta-Learning(MAML)を使用した提案手法とMAMLを使用していない従来手法との対照実験を行った．実験を通して，従来手法より良好な結果を示したため，一定の成果が得られたことが確認できた．メタ学習はクラス分類・回帰問題等で成果を残しているが，SIRR分野では未知の領域だった．しかし，実験結果より，MAMLを使用していない従来手法や他論文の手法より，本論文の提案手法が優れた結果を残した．故に，メタ学習がSIRRに有効なことが確認できた．