カメラ撮像モデルと深層学習の融合－ボケ画像からの距離推定手法における検証

相机成像模型与深度学习的融合——模糊图像距离估计方法的验证

• 批准号: 22K17911
• 负责人: 藤村 友貴
• 金额: $ 3万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17911/
• 关键词: 深層学習; depth from defocus; カメラモデル; Depth from Defocus

本研究課題はカメラモデルと深層学習技術を融合させることで，解釈可能な深層学習技術及びその精度向上を目的とする．特に，ボケ画像からのdepth推定（depth from defocus）を題材とし，その有効性を検証するものである．本年度ではまず最初に，深層学習を用いたdepth from defocusについて，従来手法の問題点を明らかにした．従来の深層学習を用いたdepth from defocusでは，フォーカルスタックと呼ばれるフォーカスを変えて撮影した複数枚の画像を直接ネットワークに入力する．しかしながら，撮影時に用いたカメラのフォーカスや焦点距離といったカメラパラメータをまったくモデル化していないため，テスト時は学習時と同じカメラパラメータで撮影された画像でないとdepth推定に失敗してしまう．本年度ではこの問題に対し，ネットワークの入力層にカメラモデルを融合する手法について研究を行った．提案手法では撮影に用いたカメラパラメータからボケの大きさを計算し，ウィーナー・フィルタを用いて入力画像にボケの大きさに相当するカーネルの逆畳み込みを行い，コストボリュームと呼ばれる中間表現に落とし込む．カメラパラメータに起因する違いを吸収したこのコストボリュームを入力とすることで，学習時とテスト時で異なるカメラパラメータを用いてもdepth推定が可能である手法を提案した．提案した手法は現在国際トップジャーナルに投稿中である．

The purpose of this study is to improve the accuracy of the depth presumption (depth from defocus). In this study, the subject of this study is to study the integration of technology and technology in order to improve the accuracy of the study. in this study, the subject of this study is the integration of technology and technology. The purpose of this study is to improve the accuracy of the technology and precision. Please ask me some questions about the technique. I want to learn more about it. I use the depth from defocus to make a copy of several portraits. In the time of video production, the focus is far away from each other, the focus is far away from each other, and the camera is in the same time as the picture picture is presumed to have failed. This year's review of problems has been discussed in this year. I don't know what to do. I don't know what to do. I don't know how to make a calculation. I don't know what to do. I don't know what to do. The cause of the accident is the cause of the accident. The cause of the accident is the cause of the accident. The cause of the accident is the cause of the accident. During the course of study, there is no question of using the depth presumption that it is possible to submit a proposal. The method of the proposal is now widely used in the submission of international financial documents.