面向季节变化的机器人视觉全局定位
批准号:
61903332
项目类别:
青年科学基金项目
资助金额:
22.0 万元
负责人:
王越
依托单位:
学科分类:
机器人学与智能系统
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
中文摘要
定位是移动机器人自主导航的关键技术。传统的定位技术主要以激光传感器为主,存在两方面问题,一方面,激光传感器的数据稀疏,鉴别信息不足,难以全局定位;另一方面,激光传感器成本较高,显著增加了机器人的价格。因此,视觉全局定位成为业界关注的解决方案。然而,自然环境下的视觉全局定位包含诸多挑战:当前图像与地图之间存在显著视角变化,海量地图图像间存在全局或局部相似混淆,自然环境变化导致光照甚至环境内容发生改变等。针对这些问题,本项目以机器人视觉全局定位为研究对象,以环境变化中时间跨度最长、变化因素最多的复杂长期季节变化为场景,以环境变化干扰下的不变信息挖掘为基本思路,模仿人在定位任务中表现出的感知和推理智能,重点突破具有主动关注机制的特征提取、具有多粒度信息表达的特征描述以及高离群点数据的高效假设检验等关键技术,从重复性、不变性和鲁棒性三个维度提升定位性能,最终提升机器人的自主性。
英文摘要
Localization is indispensable for robot navigation. Conventional robot localization solution depends on the laser, which has two problems: 1) global localization is hard due to the limited field of view and data resolution, 2) the cost of the robot with laser may not be accepted by the consumer market. Therefore, the visual global localization technique draws the attention from both industry and academia. There are several challenges to visual global localization in natural environment, including view point change, local and global ambiguity, and illuminative variation. In this project, we set to study the visual global localization across seasons, which contains significant changes covering most factors mentioned before. Motivated by the perception and inference skills performed by humans when localization, we try to discover and understand the invariance in changing environment. We propose an attention mechanism based feature detector, a multi-granular representation for feature description, and an efficient hypothesis validation method against high percentage of outliers, to improve the repeatability, stability and robustness of the localizer, finally bringing better autonomy to robots.
全局定位无法使用先验信息作为辅助,因此是机器人定位中最具挑战的问题。针对基于视觉观测的全局定位问题,该项目从地点识别、特征提取、特征匹配、系统集成四个方面开展研究:1)在特征提取方面,提出了基于生成对抗学习的伪激光数据生成方法,从而能够利用点云方法进行特征匹配;提出了位姿估计的可微分设计,将位姿监督的损失反向传播到特征提取网络,避免了特征提取缺少真值的问题,实现了端到端学习。2)在地点识别方面,提出了单帧图像的表观与结构解耦表征、多帧视觉融合的局部地图表征,并将三维结构的几何不变性考虑到神经网络网络中,解耦了位姿和环境变化引起的观测差异,提升了网络提取特征的泛化性,实现了跨季节的地点识别。3)在特征匹配方面,提出了针对2D-2D及3D-2D特征匹配的鲁棒求解器,能够在高达85%以上错误匹配干扰下找到正确的特征匹配,从而求解正确的定位。并将求解器拓展到多帧,进一步提升了跨季节定位的精度。4)在系统构建和验证测试的过程中,还提出了建图和稠密重建方法、多传感器标定方法、轨迹规划方法等,完善了机器人导航系统,重复定位精度达到厘米级。与定位算法一起集成部署到机器人,在实际应用场景中构建了数据集,开展了试验验证。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
RaLL: End-to-End Radar Localization on Lidar Map Using Differentiable Measurement Model
RaLL:使用可微测量模型在激光雷达地图上进行端到端雷达定位
DOI:
10.1109/tits.2021.3061165
发表时间:
2020-09
期刊:
IEEE Transactions on Intelligent Transportation Systems
影响因子:
8.5
作者:
[Huan Yin, Runjian Chen, Yue Wang, Rong Xiong]
通讯作者:
Rong Xiong
DOI:
10.1109/lra.2021.3061339
发表时间:
2020-09
期刊:
IEEE ROBOTICS AND AUTOMATION LETTERS
影响因子:
5.2
作者:
[Chen Runjian, Yin Huan, Jiao Yanmei, Dissanayake Gamini, Wang Yue, Xiong Rong]
通讯作者:
Xiong Rong
Imitation Learning of Hierarchical Driving Model: From Continuous Intention to Continuous Trajectory
分层驾驶模型的模仿学习:从连续意图到连续轨迹
DOI:
10.1109/lra.2021.3061336
发表时间:
2020-10
期刊:
IEEE ROBOTICS AND AUTOMATION LETTERS
影响因子:
5.2
作者:
[Wang Yunkai, Zhang Dongkun, Wang Jingke, Chen Zexi, Li Yuehua, Wang Yue, Xiong Rong]
通讯作者:
Xiong Rong
Leveraging Local Planar Motion Property for Robust Visual Matching and Localization
利用局部平面运动属性实现稳健的视觉匹配和定位
DOI:
10.1109/lra.2022.3184797
发表时间:
2022-07
期刊:
IEEE Robotics and Automation Letters
影响因子:
5.2
作者:
[Yanmei Jiao, Qunkang Zhang, Qunying Chen, Bo Fu, Fuzhang Han, Yue Wang, Rong Xiong]
通讯作者:
Rong Xiong
Multiconstraint Spatial and Temporal Calibration of Rotating Line Structured Light Vision Sensor
旋转线结构光视觉传感器的多约束时空标定
DOI:
10.1109/tim.2021.3107612
发表时间:
2021
期刊:
IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT
影响因子:
5.6
作者:
[Han Fuzhang, Zhang Qunkang, Fu Bo, Yang Tong, Wang Yue, Xiong Rong]
通讯作者:
Xiong Rong
共 11 条
生成式AI驱动的人形机器人拟人化全身移动作业运动
-
批准号:D25F030003
-
项目类别:省市级项目
-
资助金额:0.0万元
-
批准年份:2025
-
负责人:王越
-
依托单位:
面向开放环境的自主导航策略学习
-
批准号:62373322
-
项目类别:面上项目
-
资助金额:50.00万元
-
批准年份:2023
-
负责人:王越
-
依托单位:
国内基金
海外基金