复杂光照场景视觉/IMU稳健定位模型研究
批准号:
42104017
项目类别:
青年科学基金项目(C类)
资助金额:
30.0 万元
负责人:
刘飞
依托单位:
学科分类:
卫星大地测量学
结题年份:
2024
批准年份:
2021
项目状态:
已结题
项目参与者:
刘飞
中文摘要
视觉定位技术是综合PNT体系的重要组成部分,复杂光照场景对视觉定位技术鲁棒性带来巨大挑战,严重阻碍视觉定位技术的环境适用性。面向复杂光照场景稳健定位需求,通过研究复杂光照对视觉观测信息的影响机制,建立视觉图像的动态演绎过程、定位影响因子量化表达模型和视觉观测信息光照自适应补偿机制;通过引入低成本IMU定位增强技术,研究复杂光照场景视觉/IMU误差传播与定位精度的耦合关系,构建复杂光照场景视觉观测值误差传播模型,运动载体限制参数和运动信息约束的IMU状态估计模型,视觉/IMU标定参数在线更新模型;顾及复杂光照场景特征,突破光照补偿、抗差自适应定位、视觉定位失效IMU误差补偿技术,构建顾及光照适时补偿的视觉/IMU LSTM-MSCKF稳健定位模型,解决复杂光照场景视觉高精度、稳健定位实现难题。项目成果将丰富视觉定位理论体系,提升视觉定位技术的环境普适性,推动综合PNT体系发展。
英文摘要
Visual positioning technology is an important part of comprehensive PNT system. Complex lighting scenes bring great challenges to the robustness of visual positioning technology, which seriously hinders the environmental applicability of visual positioning technology. In order to meet the needs of robust localization of complex lighting scenes, by studying the influence mechanism of complex lighting on visual observation information, the dynamic deduction process of visual images, the quantitative expression model of positioning influence factors and the adaptive compensation mechanism of visual observation information are established. By introducing low-cost IMU positioning enhancement technology, and studying the coupling relationship between visual/IMU error propagation and positioning accuracy in complex lighting scenes, the error propagation model of visual observations in complex lighting scenes, the IMU state estimation model constrained by motion carrier limiting parameters and motion information, and the online updating model of visual/IMU calibration parameters are constructed. Considering the characteristics of complex lighting scene, breaking through the techniques of illumination compensation, robust adaptive location and IMU error compensation for visual location failure, a vision/IMU LSTM-MSCKF robust positioning model considering timely illumination compensation is constructed to solve the problem of high-precision and robust positioning in complex lighting scene. The results of the project will enrich the theoretical system of visual navigation and positioning, promote the environmental universality of visual positioning technology, and promote the development of comprehensive PNT system.
项目面向复杂光照场景稳健定位需求,首先,探究了复杂光照对视觉观测信息的影响机制。从光照在相机成像中的作用机理出发,明确了眩光、阴影等复杂光照对各类图像(RGB、强度、灰度、饱和度和对比度图像)的干扰机制,并建立了视觉图像的动态演绎过程。通过特征点提取实验,验证了增强饱和度能有效降低复杂光照对图像特征表达的干扰。进一步,提出了基于平均亮度阈值的图像检测方法和自适应补偿方法,建立了复杂光照场景下的视觉观测信息自适应补偿机制,有效解决了复杂光照对视觉观测信息的干扰问题,提升了视觉定位技术的鲁棒性和精度。其次,在复杂光照场景视觉定位图像处理与相机标定方面,利用深度学习技术,提出了一系列复杂光照视觉图像处理技术,包括基于C4.5决策树的图像判别方法、基于改进U-Net和Sparse-UFormer网络的图像眩光去除方法,以及基于DC-Shadow的图像阴影去除方法。这些方法突破了传统图像处理方法的局限性,实现了复杂光照视觉图像信息的高质量还原。同时,针对相机标定参数问题,提出了基于点线特征检测的单目相机在线标定方法,实现了相机标定参数的动态更新与精确保持。最后,构建了复杂光照场景下的视觉/IMU稳健定位模型。基于ORB-SLAM2、MSCKF等SLAM定位算法,融合了极端光照处理手段、自适应光照补偿方法、动态初始化与回环检测技术以及关键帧回环约束等技术方法,突破了复杂光照场景视觉定位的多项关键技术瓶颈,形成了一套完整的复杂光照场景下视觉稳健定位体系,解决了复杂光照条件下视觉定位易受干扰、精度不稳定等难题,实现了在极端光照环境下的高精度、高鲁棒性视觉定位。项目发表论文10篇,公开研究源码1个,参与撰写学术专著2部,获得发明专利授权1项(实审1项),研制视觉/IMU定位设备1套,参与标准撰写3个,获得软件著作权2项及科研奖励3项。这些成果丰富了视觉定位理论体系,提升了视觉定位技术的环境普适性。
国内基金
海外基金