基于物理光流特征的监控视频行为理解研究

Under intelligent video surveillance, human behavior understanding is a key technique, which can be extensively applied to city security, smart city, intelligent transport management, big video data processing and so on. Existing approaches still confront serious challenges due to illumination variation and pedestrian occlusion. Optical flow provides good motion features. However, the brightness constraint equation of optical flow will smooth the edge of motion features. The physics-based optical flow method proposed recently has better characteristic on edge preservation and has been applied to large displacements motion. For this reason, this project is to research on human behavior understanding for surveillance systems based on features selecting from physics-based optical flow method. The research contents will focus on the following four parts. Firstly, physics-based optical flow features will be achieved on the basis of fast algorithm, which is good in self-evaluation, self-correcting and insensitivity to the environment illumination condition. Secondly, we will detect the abnormal behaviors through multiple classifiers and neural network information fusion technique. By learning an over-complete behavior dictionary via semi-supervised, we further recognize the abnormal behavior to make the surveillance systems have higher intelligence. Finally, we will present a new video synopsis strategy based on the behavior understanding to improve the system performance significantly. Obviously, surveillance systems will be more widely used and efficient through this project. Scientific achievements of the project will enrich the relative theory on computer vision and digital image processing, and also provide Safe City and intensifying the security section with science and technology with technical support.

行为理解是智能视频监控的关键技术，在城市安防、智慧城市、智能交通管理、视频大数据处理等方面具有极其广阔的应用前景。受复杂场景中光照和遮挡等因素影响，现有方法的实用化尚面临许多挑战。光流是很好的运动特征，然而传统光流认为图像灰度及亮度场变化均连续，容易造成运动边缘特征模糊。近年来课题组提出的物理光流方法具有良好边缘保持特性，适用于大位移运动分析。为此，课题研究基于运动目标物理光流特征的行为理解新方法：1）面向光照剧烈变化的物理光流模型及快速求解、自评估与自校正方法，对人体行为进行描述，为行为分析奠定基础；2）多分类器神经网络融合算法设计，通过联合物理量对行为异常进行检测；3）基于半监督学习的行为特征过完备字典训练与识别方法；4）基于行为理解发展面向行为事件驱动的视频浓缩，进一步提高视频监控智能性与适用性。课题研究将丰富计算机视觉和图像处理的理论成果，为“平安城市”建设和科技强警提供技术保障。

行为理解是智能视频监控的关键技术，在城市安防、智慧城市、智能交通管理、视频大数据处理等方面具有极其广阔的应用前景。受复杂场景中光照和遮挡等因素影响，现有方法的实用化尚面临许多挑战。光流是很好的运动特征，能应用于行为理解分析。然而传统光流认为图像灰度及亮度场变化均连续，容易造成运动边缘特征模糊等。. 项目研究构建面向光照剧烈变化的物理光流模型并发展鲁棒的光流估计方法。利用透射投影变换，搭建起二维图像运动与实际运动之间的联系；通过引入Retinex视网膜理论，避免了传统光流模型中的光照不变性假设，构建光照鲁棒的物理光流模型；模型求解过程中采用光滑-稀疏正则化约束方式，使得所获光流具有更好的边缘保持性；进一步地，项目发展了基于频率域正则化的光流估计方法；同时考虑到人体运动中的大位移问题，提出了适用于人体行为描述的大位移物理光流特征计算方法。此外，基于变分框架，在物理光流特征基础上，发展了包括压力等其他运动特征计算方法，并研究特征融合与聚类问题。作为多分类器神经网络融合算法的输入，可通过联合特征对行为异常进行检测识别。. 本项目中，还对上述理论工作的应用拓展开展研究。基于所提取的光照鲁棒物理光流特征，应用于人脸识别与人脸反欺诈，提高了识别的正确率，改善了人脸活体检测效果；同时将联合特征应用于监控视频行为分析，提出了基于深度神经网络的时序动作提案生成方法，可从冗长的监控视频中准确提取各个行为动作；最后，在行为理解基础上，通过发展运动目标轨迹组合及其最优化方法，形成目标可自适应调整的在线视频浓缩新方法，提升了智能监控系统性能。. 以上研究成果，已发表学术论文25篇，其中SCI索引16篇，有8篇发表在IEEE Trans. on Multimedia等中科院1区Top期刊上；项目的部分研究成果申请了中国图象图形学会CSIG科技进步奖，获二等奖；项目实施期内共申请发明专利3项，其中1项已获授权。培养相关领域硕士研究生17名，有9名已顺利毕业，获得硕士学位，另有8名研究生在读。

内容获取失败，请点击重试