Improvement of Depth from Defocus technique based on neural networks

基于神经网络的散焦景深技术的改进

• 批准号: 21K11935
• 负责人: 吉田 俊之
• 金额: $ 2万
• 依托单位: University of Fukui
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K11935/
• 关键词: Depth from Defocus; depth推定; ニューラルネットワーク; CNN; 誤差低減; 高精度化

Depth from Defocus(DFD)法は，対象物体に対する多焦点画像群を用いて物体各点までの距離(depth)値を推定する手法で，過去に様々な手法が提案されている一方，既存の手法はシミュレーションと比べ実画像に対する推定精度が大きく低下する問題が残されている．本研究ではニューラルネットワークの汎用性に着目し，畳み込みニューラルネットワーク(CNN)の学習を通じてDFD法の推定誤差を低減するCNN-DFD手法の研究開発を目的とする．初年度の令和3年度は，計算機シミュレーションによって生成した多焦点画像群を用い，そのdepth値を教師データとしてNNを学習させ，精度評価を行った．2年目の令和4年度は，実多焦点画像（実画像）に対するNNの学習方法を確立した．実画像に対しては，CNNの学習に必要なdepth値の分布を厳密に求めることは困難で，従ってdepth値を教師データとして用いることなくCNNを学習させる手法が必要となる．そこで，学習に用いる対象物体を平面に限定し，対象平面を所定の間隔で移動しながら撮像した多焦点画像群を教師データとして用いて，各多焦点画像群に対して推定されるdepth値が2つの条件，(a) 撮影時の間隔に一致する，(b) 平面を構成する，を満たす様に学習させる手法を提案した．具体的には，(a)と(b)を1階および2階微分を用いて表現し，その誤差の最小化を通して学習を行った．学習させたCNNに対してそのdepth推定精度を評価し，従来手法を超える精度を有することを確認した．なお，平面に限定するのは学習に用いる対象物体のみであり，提案手法によって学習させたCNNは，対象ブロック内でdepth分布がほぼ一定である前提条件を満たす形状であれば，どのようなものについても適用可能である．

The Depth from Defocus(DFD) method is a method for estimating the distance between each point of an object and a multi-focus image group of an object. In the past, the method was proposed, and the existing method was proposed. The purpose of this study is to reduce the estimation error of CNN-DFD method by learning from CNN-DFD method. In the first year and the third year, the computer generates multi-focus images, and the depth of the images is determined. In the second year and the fourth year, the multi-focus images are determined. CNN's learning method is necessary for the depth of the teacher's knowledge. For example, in the learning process, the object plane is limited, the object plane is moved at a predetermined interval, and the multi-focus image group is estimated to have a depth value of 2 for each multi-focus image group.(a) The interval between the images is consistent,(b) The plane is formed, and the learning method is proposed. The concrete problem is that (a) and (b) are the first and second order derivatives, and the error is minimized. The accuracy of the depth estimation of CNN is evaluated. For example, the plane limit is used to study the object's depth distribution. The proposed method is used to study the CNN's depth distribution. The prerequisite is the shape of the object.

项目成果

CNN-based realization of Depth from Defocus technique

基于CNN的散焦深度技术的实现

• 发表时间: 2022
• 作者: Suzuki;S. & Okusa;K.;鈴木進之介・大草孝介;杉本佑斗，吉田俊之;Mizuki Kaneda and Toshiyuki Yoshida,
• 通讯作者: Mizuki Kaneda and Toshiyuki Yoshida,

CNN-DFD 法における実画像に対する学習手法

CNN-DFD方法中真实图像的学习方法

• 发表时间: 2022
• 作者: Suzuki;S. & Okusa;K.;鈴木進之介・大草孝介;杉本佑斗，吉田俊之
• 通讯作者: 杉本佑斗，吉田俊之

CNN を用いた Depth From Defocus 法の高精度実現

使用 CNN 实现散焦深度方法的高精度

• 发表时间: 2021
• 作者: Suzuki;S. & Okusa;K.;鈴木進之介・大草孝介;杉本佑斗，吉田俊之;Mizuki Kaneda and Toshiyuki Yoshida,;金田 瑞基，吉田 俊之
• 通讯作者: 金田 瑞基，吉田 俊之