渐进式预测与深度嵌入的显著性检测方法研究
批准号:
61876202
项目类别:
面上项目
资助金额:
62.0 万元
负责人:
张立和
依托单位:
学科分类:
F0604.机器感知与机器视觉
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
戚金清、王立君、冯梦阳、吴杰、王田田、方向、卜凡杰、艾建伍、沈翔宇
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
面向显著性目标准确、鲁棒且快速检测的实际需求,本课题将系统地分析深度学习理论在机器视觉任务中的应用,探索理解卷积神经网络的语义行为和预测逻辑,发现深度卷积过程与人视觉注意机制的内在联系。针对现有深度方法未能深入挖掘并充分利用卷积网络各层级特征所描述的局部到全局、精细到粗旷的语义线索,大的特征尺度变换容易产生错误的或有噪声的通道特征,以及依据非结构性损失的监督训练难以捕获目标丰富的结构化信息等重要问题,拟搭建渐进式预测的网络架构,通过残差学习、边界增强学习以及对抗学习解决网络深浅层特征间的互补利用、语义与空间信息的融合以及结构化损失的对抗训练,增强卷积网络对显著性目标全局准定位与局部精预测的能力。针对用分类数据集预训练网络学习到的端到端映射难以鲁棒地适应未知场景的显著性预测问题,通过深度嵌入学习来提高网络映射的泛化推理能力。通过上述研究,最终实现复杂场景下无约束的显著性目标快速精准检测。
英文摘要
Confronted with the meet of accurate, robust and fast salient object detection, we will systematically analyze the applications of deep learning theory in machine vision, explore and explain the semantic behavior and prediction logic of convolutional neural networks, and find the internal relations between deep convolution process and human visual attention mechanism. We will address some important problems, for example, existing methods don't fully exploit the local-to-global, coarse-to-fine semantic cues embodied in different convolution layers, large scaling of feature maps easily results in inaccurate or noisy features, the non-structural loss functions that measures pixel-wise difference between predicted map and ground-truth are difficult to capture the structural information of salient object. We will propose progressive prediction architecture, and deeply investigate residual learning, boundary-boosting learning and adversarial learning to complementarily utilize the multi-scale features across different layers, combine semantic and spatial information, and develop structural supervision, thereby enhancing the capability of globally precise location and locally fine prediction. Considering that the deep neural networks that are pre-trained on image classification data possibly make the learned end-to-end mapping difficultly adapt to saliency prediction task in the unknown scene, we will use embedding learning to generalize the end-to-end mapping. Through the above research work, we hope to achieve unconstrained and efficient saliency detection even in complex scene.
面向显著性目标准确、鲁棒且快速检测的实际需求,本课题探索理解卷积神经网络的语义行为和预测逻辑,发现深度卷积过程与人视觉注意机制的内在联系,构建了渐进式预测的网络框架,充分利用各层级特征的语义线索,提出了多尺度交互网络(CVPR2020)、门控网络(ECCV2020)、多视角(ICCV2019)、多阶段优化(TIP2020)、混合尺度(CVPR2022)的显著性检测模型。本课题发现不同模态、任务、监督信息的内在联系,构建了多模态融合的网络框架,充分利用多种模态的语义线索,提出了动态滤波(ECCV2020)、双向关系对齐(CVPR2021)、多源融合(ACM MM2021)、多任务学习(TNNLS2021/TIP2022)、自监督学习(AAAI2022)、弱监督学习(ICCV2019/TNNLS2022)、主动学习(TIP2020)的推理模型。在本项目资助下,课题组共发表学术论文21篇,其中SCI检索9篇,中科院一区5篇,在顶级会议CVPR/ICCV/ECCV/AAAI/ACM MM发表论文11篇。申请发明专利3项。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
CACNet: Salient object detection via context aggregation and contrast embedding
CACNet:通过上下文聚合和对比嵌入进行显着对象检测
DOI:10.1016/j.neucom.2020.04.032
发表时间:2020-08
期刊:Neurocomputing
影响因子:6
作者:Feng Guang;Bo Hongguang;Sun Jiayu;Zhang Lihe;Lu Huchuan
通讯作者:Lu Huchuan
DOI:10.1109/tnnls.2021.3106153
发表时间:2021-09
期刊:IEEE Transactions on Neural Networks and Learning Systems
影响因子:10.4
作者:Guang Feng;Zhiwei Hu;Lihe Zhang;Jiayu Sun;Huchuan Lu
通讯作者:Guang Feng;Zhiwei Hu;Lihe Zhang;Jiayu Sun;Huchuan Lu
A Multistage Refinement Network for Salient Object Detection
用于显着目标检测的多级细化网络
DOI:10.1109/tip.2019.2962688
发表时间:2020-01
期刊:IEEE Trans. Image Process.
影响因子:--
作者:Zhang Lihe;Wu Jie;Wang Tiantian;Borji Ali;Wei Guohua;Lu Huchuan
通讯作者:Lu Huchuan
Salient object detection via double random walks with dual restarts
通过双重随机游走和双重重启进行显着目标检测
DOI:10.1016/j.imavis.2019.10.008
发表时间:2020
期刊:Image and Vision Computing
影响因子:4.7
作者:Yang Jiaxing;Fang Xiang;Zhang Lihe;Lu Huchuan;Wei Guohua
通讯作者:Wei Guohua
Visual Saliency Detection via Kernelized Subspace with Active Learning
通过主动学习的核化子空间进行视觉显着性检测
DOI:--
发表时间:2020
期刊:IEEE Trans. Image Process.
影响因子:--
作者:Lihe Zhang;Jiayu Sun;Tiantian Wang;Yifan min;Huchuan Lu
通讯作者:Huchuan Lu
面向复杂场景精准快速的指向性分割方法研究
- 批准号:--
- 项目类别:面上项目
- 资助金额:53万元
- 批准年份:2022
- 负责人:张立和
- 依托单位:
自底向上的静态图像显著性检测
- 批准号:61371157
- 项目类别:面上项目
- 资助金额:74.0万元
- 批准年份:2013
- 负责人:张立和
- 依托单位:
国内基金
海外基金















{{item.name}}会员


