Improvement of Depth from Defocus technique based on neural networks

点击翻译按钮获取中文摘要

Depth from Defocus(DFD)法は，対象物体に対する多焦点画像群を用いて物体各点までの距離(depth)値を推定する手法で，過去に様々な手法が提案されている一方，既存の手法はシミュレーションと比べ実画像に対する推定精度が大きく低下する問題が残されている．本研究ではニューラルネットワークの汎用性に着目し，畳み込みニューラルネットワーク(CNN)の学習を通じてDFD法の推定誤差を低減するCNN-DFD手法の研究開発を目的とする．初年度の令和3年度は，計算機シミュレーションによって生成した多焦点画像群を用い，そのdepth値を教師データとしてNNを学習させ，精度評価を行った．2年目の令和4年度は，実多焦点画像（実画像）に対するNNの学習方法を確立した．実画像に対しては，CNNの学習に必要なdepth値の分布を厳密に求めることは困難で，従ってdepth値を教師データとして用いることなくCNNを学習させる手法が必要となる．そこで，学習に用いる対象物体を平面に限定し，対象平面を所定の間隔で移動しながら撮像した多焦点画像群を教師データとして用いて，各多焦点画像群に対して推定されるdepth値が2つの条件，(a) 撮影時の間隔に一致する，(b) 平面を構成する，を満たす様に学習させる手法を提案した．具体的には，(a)と(b)を1階および2階微分を用いて表現し，その誤差の最小化を通して学習を行った．学習させたCNNに対してそのdepth推定精度を評価し，従来手法を超える精度を有することを確認した．なお，平面に限定するのは学習に用いる対象物体のみであり，提案手法によって学習させたCNNは，対象ブロック内でdepth分布がほぼ一定である前提条件を満たす形状であれば，どのようなものについても適用可能である．