优化启发下的可解释深度神经网络及其在图像重建中应用

批准号:
61902009
项目类别:
青年科学基金项目
资助金额:
26.0 万元
负责人:
张健
依托单位:
学科分类:
F0210.计算机图像视频处理与多媒体技术
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
数字图像的质量可以说在人们进行交流通信和视觉感知的过程中起着至关重要的作用。在数字图像的采集、存储、传输和处理过程中,由于拍摄设备及人为操作不当等诸多因素不可避免使得最终获得的图像失真,或称为图像退化,从而影响图像质量。因此,利用退化图像对原始真实图像进行复原的图像重建技术,一直以来都是数字图像处理领域里的研究热点,对其研究具有十分重要的理论和现实意义。为了获得高质量且高效率的图像重建算法,本项目将研究有机地结合目前主流的两大类不同的图像重建算法:基于优化的图像重建算法和基于深度网络的图像重建算法,充分利用两者的优点,突破已有将深度神经网络当作是一个“黑盒子”的瓶颈和限制,自适应学习图像稀疏表示先验模型和正则化参数,设计具有可解释性和结构性的优化算法启发下的通用图像重建深度神经网络框架。本项目可取得理论创新与技术突破,为新一代的图像重建技术的研发起到积极推动作用。
英文摘要
The quality of digital images plays a significant role in the process of visual perception and communication. The degradations of digital images are inevitably caused by many factors during the period of image acquisition, storage, transmission and processing. Therefore, image reconstruction technology, which infers the recovery of the original image from the observed degraded version, has seen a hot and basic topic in the field of image processing. With the aim of developing a fast yet accurate algorithm for image reconstruction, we combine in this paper the merits of two existing categories of methods: the structure insights of traditional optimization-based methods and the performance/speed of recent network-based ones. This project will study on optimization-inspired interpretable deep neural networks for image reconstruction, with the purpose of surmounting the bottlenecks and constraints of the existing deep neural network as a "black box". All the parameters in the proposed deep networks (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. This project will make theoretical innovations and technological breakthroughs, and will further greatly promote the development of the new generation of image reconstruction technology.
现有的面向视觉重建任务的深度展开网络在研究过程中通常将采样和重建两个过程分离开,但最优采样矩阵的选取往往依赖于特定的重建算法;现有主流的压缩感知或核磁共振成像中固定采样矩阵自适应能力不足,可学习矩阵空间效率低下、训练难度大;在在采样过程中,大多数方法将不同的采样矩阵视为不同的独立任务,并且需要为每个目标采样矩阵训练一个特定的模型,这样的做法导致计算效率低下,并且模型泛化能力差。另外,在深度展开网络设计中过度依赖于优化算法,从而导致展开网络的各个迭代过程之间缺乏更为有效的信息传输方式。本项目的创新性主要在于两方面:一方面是将信号采样、数值优化、神经网络三者在统一的框架下结合,对采样和重建过程进行协同联合设计,使得设计的神经网络架构具有较强的自适应性和泛化能力;另一方面是在优化启发式背景下进一步突破传统优化算法限制,充分考虑深度神经网络信息传输的特点,构建更为高效和高通量的网络架构,从而提升性能。具体而言,本项目提出了优化启发下紧致神经网络设计、内容自适应的可伸缩深度网络设计、处理任意采样的可控网络设计、记忆增强的深度优化展开网络设计、稠密特征自适应融合深度展开网络设计、端到端概率下采样可解释重建网络设计、高吞吐量通用深度展开网络设计等一系列高效解决方案。通过本项目研究,进一步了突破已有将深度神经网络当作是一个“黑盒子”用于图像重建的瓶颈和限制,在图像去噪/去雨/去模糊、超分辨率、压缩感知、核磁共振成像、视频/光谱压缩快照成像等应用任务中都取了显著的性能提升,多项研究成果都发表在本领域国际顶级期刊和国际顶级会议上,有效推动了优化启发下可解释神经网络设计在图像重建领域的发展。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
COLA-Net: Collaborative Attention Network for Image Restoration (TMM)
COLA-Net:用于图像恢复的协作注意网络(TMM)
DOI:10.1109/tmm.2021.3063916
发表时间:2021
期刊:IEEE Transactions on Multimedia (TMM)
影响因子:--
作者:Chong Mou;Jian Zhang;Xiaopeng Fan;Hangfan Liu;Ronggang Wang
通讯作者:Ronggang Wang
Content-Aware Scalable Deep Compressed Sensing
内容感知可扩展深度压缩感知
DOI:10.1109/tip.2022.3195319
发表时间:2022-01-01
期刊:IEEE TRANSACTIONS ON IMAGE PROCESSING
影响因子:10.6
作者:Chen, Bin;Zhang, Jian
通讯作者:Zhang, Jian
DOI:DOI 10.1109/TPAMI.2022.3194001
发表时间:2022
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)
影响因子:--
作者:Chong Mou;Jian Zhang
通讯作者:Jian Zhang
High-Throughput Deep Unfolding Network for Compressive Sensing MRI
用于压缩感知 MRI 的高通量深度展开网络
DOI:10.1109/jstsp.2022.3170227
发表时间:2022-06
期刊:IEEE Journal of Selected Topics in Signal Processing (JSTSP)
影响因子:--
作者:Jian Zhang;Zhenyu Zhang;Jingfen Xie;Yongbing Zhang
通讯作者:Yongbing Zhang
Optimization-Inspired Compact Deep Compressive Sensing
受优化启发的紧凑型深度压缩传感
DOI:10.1109/jstsp.2020.2977507
发表时间:2020-03
期刊:IEEE Journal of Selected Topics in Signal Processing (JSTSP)
影响因子:--
作者:Jian Zhang;Chen Zhao;Wen Gao
通讯作者:Wen Gao
基于扩散模型的条件图像生成
- 批准号:62372016
- 项目类别:面上项目
- 资助金额:50万元
- 批准年份:2023
- 负责人:张健
- 依托单位:
国内基金
海外基金
