カメラ撮像モデルと深層学習の融合－ボケ画像からの距離推定手法における検証

相机成像模型与深度学习的融合——模糊图像距离估计方法的验证

• 批准号: 22K17911
• 负责人: 藤村 友貴
• 金额: $ 3万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17911/
• 关键词: 深層学習; depth from defocus; カメラモデル; Depth from Defocus

本研究課題はカメラモデルと深層学習技術を融合させることで，解釈可能な深層学習技術及びその精度向上を目的とする．特に，ボケ画像からのdepth推定（depth from defocus）を題材とし，その有効性を検証するものである．本年度ではまず最初に，深層学習を用いたdepth from defocusについて，従来手法の問題点を明らかにした．従来の深層学習を用いたdepth from defocusでは，フォーカルスタックと呼ばれるフォーカスを変えて撮影した複数枚の画像を直接ネットワークに入力する．しかしながら，撮影時に用いたカメラのフォーカスや焦点距離といったカメラパラメータをまったくモデル化していないため，テスト時は学習時と同じカメラパラメータで撮影された画像でないとdepth推定に失敗してしまう．本年度ではこの問題に対し，ネットワークの入力層にカメラモデルを融合する手法について研究を行った．提案手法では撮影に用いたカメラパラメータからボケの大きさを計算し，ウィーナー・フィルタを用いて入力画像にボケの大きさに相当するカーネルの逆畳み込みを行い，コストボリュームと呼ばれる中間表現に落とし込む．カメラパラメータに起因する違いを吸収したこのコストボリュームを入力とすることで，学習時とテスト時で異なるカメラパラメータを用いてもdepth推定が可能である手法を提案した．提案した手法は現在国際トップジャーナルに投稿中である．

This research topic aims to integrate deep learning techniques and solve the problem of possible deep learning techniques and high precision. In particular, the depth of the portrait is estimated (depth from defocus). This year, we started with deep learning, using depth from defocus to solve problems. Deep learning is used in depth from defocus. It is used in depth from defocus. The focus distance is the same as the depth of the image. This year's research on the problem of integration and integration is carried out. The proposed method is to calculate the maximum value of the image in the middle of the image, and to calculate the maximum value of the image in the middle of the image. The cause of the problem is the absorption of the problem and the depth of the problem is estimated. The proposal is now international.