复杂环境下基于视觉的移动机器人导航控制和虚拟现实关键技术研究
批准号:
U1613218
项目类别:
联合基金项目
资助金额:
260.0 万元
负责人:
王贺升
依托单位:
学科分类:
自动化检测技术与装置
结题年份:
2020
批准年份:
2016
项目状态:
已结题
项目参与者:
刘云辉、李戈、张学贺、刘杨、丁克、刘哲、胡辰、赵文锐、张伟
中文摘要
工业4.0时代的到来,对机器人的自主性、智能性提出了更高的要求。传统的导航方法已无法满足移动机器人在未知的、动静态混合的自然环境中自主作业的需要,一种有效的、系统的、针对复杂环境的新一代移动机器人自主导航方法具有重大的研究价值。本项目将针对上述问题,融合控制理论、传感器技术、计算机视觉及人机交互等先进信息技术,提出一种以机器人视觉为核心的导航控制框架,构建包括视觉同步定位与建图、组合动态轨迹规划和视觉伺服控制在内的完整导航理论体系,并开发相应的虚拟现实仿真平台。着力研究真实环境中光照变化、动态障碍物等对视觉导航带来的技术难题,提出一套精度高、鲁棒性强的系统导航解决方案。最终建立基于视觉的自主导航移动机器人实验样机,并在真实环境中开展测试。复杂环境下的移动机器人导航控制理论研究,为实际应用中服务机器人或无人驾驶车辆的自主导航提供可行方法,大大提高机器人在非结构化环境下的自主能力。
英文摘要
With the arrival of Industrie 4.0, robots are required to work in more challenging environment and perform demanding tasks. Since traditional navigation methods is no longer sufficient in this condition, there is an urgent for the next generation of navigation algorithm to guide mobile robots through complex unstructured environment safely, efficiently and robustly. To solve the problem, this project inosculates the advanced techniques in control theory, sensor technology, computer vision and human-robot interaction, and proposes a vision-based navigation framework in complex environment. A complete theory system of mobile robot vision-based navigation will be constructed, including visual simultaneous localization and mapping (V-SLAM), combined trajectory planning with dynamic obstacles considered and self-adapting visual servo control. A simulation software equipped with virtual reality techniques will be developed. This project aims at the deep-going research on the technological means of eliminating the disturbance of varying illumination, adapting to the dynamic complex environment and improving the performance prominently. This project tries to find the innovative solutions to the dilemma of robustness, accuracy and efficiency in the existing algorithms. A mobile robot prototype will be built to conduct the test and evaluate the adaptability and reliability of the proposed methods and algorithms in dynamic real environments. The study on vision-based navigation methods in complex environment offers a feasible way to autonomous navigation of service robots or driverless cars and improves autonomy of robots in a large extent.
研究团队针对视觉同步定位与建图(SLAM)中的动态环境,精度提高,光照变换三个核心挑战分别开展研究,设计了对应的方案并理论验证。由多传感器融合和动态环境问题研究中的特征数据,整合组成多源数据动态、静态特征数据库,对三个问题的解决方案进行量化测试,通过后进行整合,最终形成可行的高精度、高鲁棒性、动态环境适用的SLAM算法。针对轨迹规划问题,主要研究动态障碍物的运动估计和局部轨迹重规划方法,结合全局规划,形成动态环境轨迹规划算法。针对运动控制问题,主要研究高速鲁棒特征点的识别、非完整性约束处理及参数自适应问题,形成鲁棒的视觉跟踪控制算法。同时,对现有的虚拟现实仿真方法进行改进和优化,开发复杂混合环境仿真平台及数据库。由导航控制框架,整合SLAM算法、运动规划与控制算法,形成完整的复杂环境下移动机器人自主导航的算法,在自主开发的仿真平台中进行验证及优化。最后在真实的移动机器人上进行实验,在室内外多种环境中测试开发样机的系统性能。.研究团队和广州唯品会公司合作研发了两代智能物流配送无人车,具有极高的自主性和实用性,可进行量产。支持的未来机器人有限公司借助本项目的成果加速其无人工业叉车系统的研发与落地。在非结构化与高动态的复杂工业物流仓储环境中,基于视觉的建图、定位、导航技术促进了不同类型的无人叉车以小于5厘米的路径跟随精度自主执行任务。通过将所研发的移动机器人自主导航技术集成于全尺寸拖车-拖斗系统,成功搭建了无人货物运输系统样机,并在香港机场空运货站对其进行了广泛的集成测试。现场测试时间超过3个月,连续测试里程超过200公里。采用拖车牵引多台拖斗的运输方式不仅效率大大提高而且成本很低,对促进工业车辆完全自主驾驶并广泛推广部署具有重要意义。在该项目的执行期间,研究团队一共发表82篇论文,其中SCI索引论文43篇,EI论文索引39篇。包括Transaction期刊共计30篇;机器人领域,控制领域,图像处理领域,智能交通领域顶级期刊TRO、TAC、TIP、T-ITS共计7篇;机器人领域和计算机视觉领域顶级会议ICRA、IROS、CVPR、ICCV、ECCV论文共计22篇。本项目相关研究获IEEE RAL 2019年度最佳论文提名,获得2019年T-Mech年度最佳论文提名。已授权国家发明专利2项。申请并公开国家发明专利10项,另有一项申报的美国专利。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
Purely image-based pose stabilization of nonholonomic mobile robots with a truly uncalibrated overhead camera
具有真正未经校准的高架摄像机的非完整移动机器人的纯基于图像的姿态稳定
DOI:
10.1109/tro.2019.2961052
发表时间:
2020
期刊:
IEEE Transactions on Robotics
影响因子:
7.8
作者:
[Liang Xinwu, Wang Hesheng, Liu Yun-Hui, Liu Zhe, You Bing, Jing Zhongliang, Chen Weidong]
通讯作者:
Chen Weidong
Underwater Dynamic Modeling for a Cable-Driven Soft Robot Arm
电缆驱动软机器人臂的水下动态建模
DOI:
10.1109/tmech.2018.2872972
发表时间:
2018-10
期刊:
IEEE/ASME Transactions on Mechatronics
影响因子:
--
作者:
[Xu Fan, Wang Hesheng, Au Kwok Wai Samuel, Chen Weidong, Miao Yanzi]
通讯作者:
Miao Yanzi
Robot Intelligence for Real World Applications
现实世界应用的机器人智能
DOI:
10.1049/cje.2018.03.007
发表时间:
2018-05
期刊:
Chinese Journal of Electronics
影响因子:
1.2
作者:
[Liu Yunhui, Zheng Fan, Guo Ruibin, Wang Jiangliu, Nie Qiang, Wang Xin, Wang Zerui]
通讯作者:
Wang Zerui
Visual Servoing of a Flexible Aerial Refueling Boom With an Eye-in-Hand Camera
带有手眼摄像头的灵活空中加油臂的视觉伺服
DOI:
10.1109/tsmc.2019.2957992
发表时间:
2021-10
期刊:
IEEE Transactions on Systems, Man, and Cybernetics: Systems,2019, doi:10.1109/TSMC.2019.2957992
影响因子:
--
作者:
[Leilei Cui, Hesheng Wang, Xinwu Liang, Jingchuan Wang, Weidong Chen]
通讯作者:
Weidong Chen
Loop closure detection using supervised and unsupervised deep neural networks for monocular SLAM systems
使用监督和无监督深度神经网络进行单目 SLAM 系统的闭环检测
DOI:
10.1016/j.robot.2020.103470
发表时间:
2020-04-01
期刊:
ROBOTICS AND AUTONOMOUS SYSTEMS
影响因子:
4.3
作者:
[Memon, Azam Rafique, Wang, Hesheng, Hussain, Abid]
通讯作者:
Hussain, Abid
共 42 条
面向大型工件作业的基于大模型的机器人技能学习与安全协同控制
-
批准号:--
-
项目类别:省市级项目
-
资助金额:0.0万元
-
批准年份:2025
-
负责人:王贺升
-
依托单位:
交互环境下基于视觉的柔性手术机器人控制研究
-
批准号:62073222
-
项目类别:面上项目
-
资助金额:59.0万元
-
批准年份:2020
-
负责人:王贺升
-
依托单位:
线驱软体机器人视觉伺服的研究
-
批准号:61473191
-
项目类别:面上项目
-
资助金额:80.0万元
-
批准年份:2014
-
负责人:王贺升
-
依托单位:
非结构环境下机器人鲁棒视觉伺服的研究
-
批准号:61105095
-
项目类别:青年科学基金项目
-
资助金额:26.0万元
-
批准年份:2011
-
负责人:王贺升
-
依托单位:
国内基金
海外基金