A Low-Complexity End-to-End Stereo Matching Pipeline From Raw Bayer Pattern Images to Disparity Maps
A Low-Complexity End-to-End Stereo Matching Pipeline From Raw Bayer Pattern Images to Disparity Maps
复制标题
从原始拜耳模式图像到视差图的低复杂度端到端立体匹配管道
DOI：
10.1109/access.2021.3068497
复制
发表时间：
2021
期刊：
影响因子：
3.9
通讯作者：
Xin Lou
中科院分区：
文献类型：
--
作者：
Shengyu Gao;Hongyu Wang;Xin Lou
传统的计算机视觉算法，包括立体匹配算法，将精细渲染的彩色图像作为输入。然而，现有的用于彩色图像生成的图像信号处理 (ISP) 管道是为摄影而设计的，其目标是生成人眼满意的图像。本文描述了一种新的端到端管道，用于从原始拜耳模式图像到具有定制 ISP 的视差图的立体匹配。与需要完整的 ISP 模块来渲染全尺寸标准 RGB (sRGB) 图像的传统立体匹配系统不同，在所提出的管道中引入了基于子采样的去马赛克-下采样 (SDD) 操作，以对拜耳模式图像进行去马赛克和下采样。使用简单的去噪和色调映射算法处理所得的半尺寸彩色图像对，以生成立体匹配算法的最终输入图像。发现简单的最近邻上采样方法足以生成最终的全尺寸视差图。实验结果表明，所提出的管道能够产生与传统管道相当甚至更好的立体匹配结果。通过跳过大部分不必要的 ISP 步骤并减小输入图像的大小，端到端立体匹配管道的计算复杂度显着降低。
Conventional computer vision algorithms, including stereo matching algorithms, take finely rendered color images as input. However, existing image signal processing (ISP) pipelines for color image generation are designed for photography with a goal of generating pleasing images for human eyes. This paper describes a new end-to-end pipeline for stereo matching from raw Bayer pattern images to disparity maps with customized ISP. Unlike conventional stereo matching systems which need a complete ISP module to render full-size standard RGB (sRGB) images, a subsampling-based demosaicing-downsampling (SDD) operation is introduced in the proposed pipeline to demosaic and downsample the Bayer pattern images. The resultant half-size color image pairs are processed with simple denoising and tone mapping algorithms to generate the final input images of stereo matching algorithms. It is found that the simple nearest neighbor upsampling method is good enough to generate the final full-size disparity maps. Experimental results show that the proposed pipeline is capable of generating comparable or even better stereo matching results than the conventional pipeline. By skipping most of the unnecessary ISP steps and reducing the size of input images, the computational complexity of the end-to-end stereo matching pipeline is significantly reduced.
登录
查看更多内容
DOI：
10.1109/3dv.2017.00033
发表时间：
2017-09
期刊：
2017 International Conference on 3D Vision (3DV)
影响因子：
--
作者：
D. Scharstein;Tatsunori Taniai;Sudipta N. Sinha
通讯作者：
D. Scharstein;Tatsunori Taniai;Sudipta N. Sinha
用于肿瘤定位和剂量测定的 CT-SPECT 图像联合配准
DOI：
10.1109/cvpr.2013.226
发表时间：
2006
期刊：
2013 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
A. Celler;L. Tang;G. Hamarneh;P. Cohen
通讯作者：
P. Cohen
DOI：
10.1109/icassp40776.2020.9053743
发表时间：
2020-05
期刊：
ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
影响因子：
--
作者：
Baptiste Magnier;Arezki Aberkane;N. Gorrity
通讯作者：
Baptiste Magnier;Arezki Aberkane;N. Gorrity
DOI：
10.1145/1275808.1276497
发表时间：
2007-07
期刊：
ACM SIGGRAPH 2007 papers
影响因子：
--
作者：
J. Kopf;Michael F. Cohen;Dani Lischinski;M. Uyttendaele
通讯作者：
J. Kopf;Michael F. Cohen;Dani Lischinski;M. Uyttendaele
DOI：
10.1109/cvpr.2003.1211354
发表时间：
2003-06
期刊：
2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings.
影响因子：
--
作者：
D. Scharstein;R. Szeliski
通讯作者：
D. Scharstein;R. Szeliski