基于人体和运动注意的弱监督时空行为检测识别
批准号:
61871435
项目类别:
面上项目
资助金额:
66.0 万元
负责人:
桑农
依托单位:
学科分类:
F0117.多媒体信息处理
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
高常鑫、张士伟、皮智雄、余昌黔、宾言锐、王佳龙
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
本项目拟针对视频中特定行为的检测与识别问题,研究基于人体和运动注意的弱监督方法。在弱监督条件下,训练样本中只给出视频级别的类别标记而缺乏检测框、行为的起始和截至时间等标注信息。首先,我们提出使用时空反卷积网络来提取行为的时序信息,为行为的密预测奠定基础;其次在网络训练中,提出基于人体和运动注意的方法来指导网络的学习,使得网络能更加快速准确地将注意力集中在目标区域;然后使用基于梯度的类别激活图方法计算出行为在空间上的概率分布图,从而得到行为的空间位置;最后,针对行为的时序检测问题,提出增加稀疏约束的方式来有效选择具有目标行为的片段。项目将为安防监控视频、直播平台与网络平台视频中暴力、色情等特定行为的检测识别提供技术支撑,促进社会的安全和谐和网络环境的净化。
英文摘要
In this project, we explore the actor and motion based attention for action localization in untrimmed videos, in a weakly-supervised manner. Under the condition of weakly-supervision, training examples are just provided with video-level label but without bounding boxes, start and end frame. To achieve this goal, we propose to apply spatiotemporal deconvolution to extract temporal information, which can be prepared for action dense prediction. Then we propose to apply actor and motion supervised attention to guide the model learning. By this means, it can help the network can focus on the target area more quickly and accurately. The we apply grad based class activation map (Grad-CAM) to calculate action localization map, from which we can localize the action in spatial domain. Then we design a sparse loss function to selection the segments for action temporal detection. By this means, we can apply some public datasets which are just given action labels to detect some specific actions, such as violence, aggravate damage. We can also detect some bad behavior such as pornography in live web and videos, and further provide health security in network environments.
视频中行为的时空检测识别是指在视频中识别出特定的行为,并定位其时间和空间位置信息,包括行为的起始帧、截止帧和检测框等。这是当前计算机视觉中一个重要而活跃的研究热点,它不但在社会安全领域有着广泛应用,比如监控环境下的异常行为检测、商场中的偷窃行为检测识别,还在人机交互中有着不可取代的地位。本项目的主要研究内容包括基于时空卷积网络的弱监督行为空间定位的研究,行为检测识别中人体和运动注意机制研究以及弱监督的行为时序检测算法研究。其中,第一项研究内容通过多阶段的方法获得了媲美有监督的性能提升。在第二项研究内容中,将有效运动作为监督信息加入模型的学习中,检测算法的定位性能获得显著提升。在第三项研究内容中,通过弱监督的框架下对行为进行稀疏建模,有效提升了时空定位的准确率,实现了先进的检测性能。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.13245/j.hust.200101
发表时间:2020
期刊:华中科技大学学报. 自然科学版
影响因子:--
作者:桑农;李默然
通讯作者:李默然
GLNet: Global Local Network for Weakly Supervised Action Localization
GLNet:弱监督动作本地化的全球局部网络
DOI:10.1109/tmm.2019.2959425
发表时间:2020-10
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Shiwei Zhang;Lin Song;Changxin Gao;Nong Sang
通讯作者:Nong Sang
Structure-aware human pose estimation with graph convolutional networks
使用图卷积网络进行结构感知人体姿势估计
DOI:10.1016/j.patcog.2020.107410
发表时间:2020-10-01
期刊:PATTERN RECOGNITION
影响因子:8
作者:Bin, Yanrui;Chen, Zhao-Min;Sang, Nong
通讯作者:Sang, Nong
DOI:10.12263/dzxb.20201302
发表时间:2022
期刊:电子学报
影响因子:--
作者:马百腾;张士伟;高常鑫;桑农
通讯作者:桑农
复杂视频监控场景中人群异常行为分析
- 批准号:U22B2053
- 项目类别:联合基金项目
- 资助金额:253.00万元
- 批准年份:2022
- 负责人:桑农
- 依托单位:
高速飞行器光学成像末制导目标实时识别方法与关键技术
- 批准号:61433007
- 项目类别:重点项目
- 资助金额:360.0万元
- 批准年份:2014
- 负责人:桑农
- 依托单位:
基于遮挡分层模型的遮挡目标跟踪技术研究
- 批准号:61271328
- 项目类别:面上项目
- 资助金额:76.0万元
- 批准年份:2012
- 负责人:桑农
- 依托单位:
人物肖像与动画计算机自动生成
- 批准号:60672162
- 项目类别:联合基金项目
- 资助金额:30.0万元
- 批准年份:2006
- 负责人:桑农
- 依托单位:
结合人类视觉二阶运动感知及全局运动计算原理的运动分析技术
- 批准号:60575017
- 项目类别:面上项目
- 资助金额:22.0万元
- 批准年份:2005
- 负责人:桑农
- 依托单位:
国内基金
海外基金















{{item.name}}会员


