カメラ撮像モデルと深層学習の融合－ボケ画像からの距離推定手法における検証

点击翻译按钮获取中文摘要

本研究課題はカメラモデルと深層学習技術を融合させることで，解釈可能な深層学習技術及びその精度向上を目的とする．特に，ボケ画像からのdepth推定（depth from defocus）を題材とし，その有効性を検証するものである．本年度ではまず最初に，深層学習を用いたdepth from defocusについて，従来手法の問題点を明らかにした．従来の深層学習を用いたdepth from defocusでは，フォーカルスタックと呼ばれるフォーカスを変えて撮影した複数枚の画像を直接ネットワークに入力する．しかしながら，撮影時に用いたカメラのフォーカスや焦点距離といったカメラパラメータをまったくモデル化していないため，テスト時は学習時と同じカメラパラメータで撮影された画像でないとdepth推定に失敗してしまう．本年度ではこの問題に対し，ネットワークの入力層にカメラモデルを融合する手法について研究を行った．提案手法では撮影に用いたカメラパラメータからボケの大きさを計算し，ウィーナー・フィルタを用いて入力画像にボケの大きさに相当するカーネルの逆畳み込みを行い，コストボリュームと呼ばれる中間表現に落とし込む．カメラパラメータに起因する違いを吸収したこのコストボリュームを入力とすることで，学習時とテスト時で異なるカメラパラメータを用いてもdepth推定が可能である手法を提案した．提案した手法は現在国際トップジャーナルに投稿中である．