移动增强现实中基于视觉—惯性传感器的混合跟踪方法研究
结题报告
批准号:
61502188
项目类别:
青年科学基金项目
资助金额:
23.0 万元
负责人:
杨欣
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2018
批准年份:
2015
项目状态:
已结题
项目参与者:
王兴刚、柏松、陈攀、李弼、司迅、薛唐立、王植炜
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
随着智能手机的飞速发展和普及,移动增强现实应用受到学术界和工业界的广泛关注。姿态跟踪作为移动增强现实中的核心技术成为了迫切需要。然而,传统的移动增强现实跟踪技术通常基于单一的视觉方法或者传感器方法,很难同时满足跟踪精度、鲁棒性和实时性的需求。本课题致力于研究新的融合视觉与惯性传感器的混合跟踪模型以实现智能手机上精确、鲁棒、实时的跟踪。围绕混合跟踪模型中三个具体难点开展深入研究,具体包括: 轻量级在线的特征选择算法;多源传感器融合跟踪方法;基于视觉-传感器数据融合跟踪方法及自适应突变误差校验。本课题将有力推动移动增强现实的理论和应用的发展,为提供一种移动环境下全新的人机交互方式提供核心算法与技术。
英文摘要
With fast development and deployment of smartphones, mobile augmented reality (MAR) on smartphones has attracted increasing interests from academia and industry. Pose tracking is one of the most critical tasks in an MAR system. However, conventional methods which rely on only visual features or inertial sensors are either too computationally expensive on smartphones, or not sufficiently accurate and robust for a satisfactory user experience. This proposal focuses on developing a novel hybrid tracking system and address key challenges in the system, including: lightweight online feature selection for robust feature tracking, multimodel sensor data fusion for inertial tracking, adaptive Kalman filtering with abrupt error verification for vision-inertial hybrid tracking. The research conducted in this proposal will provide robust and efficient pose tracking techniques which can run efficiently on mobile phones. Meanwhile, it will significantly speedup the development of MAR theories and facilitate wide deployment of MAR apps.
背景:随着智能手机的飞速发展和普及,移动增强现实应用受到学术界和工业界的广泛关注。姿态跟踪及稠密3D建图作为移动增强现实中的核心技术成为了迫切需要。然而,传统的移动增强现实跟踪技术通常基于单一的视觉方法或者传感器方法,很难同时满足跟踪精度、鲁棒性和实时性的需求。同时,传统的视觉SLAM技术很难实现稠密的建图,无法支持虚拟和真实目标间的交互。..研究内容:本课题致力于研究新的融合视觉与惯性传感器的混合跟踪模型以实现智能手机上精确、鲁棒、实时的跟踪以及稠密的3D建图。重点研究基于单目视觉—惯性传感器数据融合跟踪方法,和结合稀疏/半稠密地图与深度卷积神经网络的单目稠密建图方法。本课题以医学影像增强现实和无人机增强现实应用为驱动,对提出的研究方法进行验证。..重要结果和重要数据:1)针对单目视觉—惯性传感器融合跟踪,本项目提出利用惯性传感器粗略估计相机运动,并基于此对图像进行自动尺寸缩放以大大减低视觉计算的复杂度。针对视觉帧间跟踪方法的累计误差通过基于模型的特征跟踪方法进行定期矫正。最终基于视觉和基于惯导的相机位姿估计结果利用改进的卡尔曼滤波方式进行有效融合。本项目中提出的方法在公共数据集上实现12.4%-31.8%的精度提升以及5.9倍的速度提升。2)针对单目稠密建图,本项目通过将视觉SLAM预估的半稠密地图与深度学习方法预测的深度信息利用CNN网络进行有效融合,在公共数据集上实现明显优于同类方法的建图性能和相似的计算效率。此外,本项目提出结合视觉SLAM估计的位姿对样本进行在线选择,并设计逐层参数更新算法利用在线选择的样本对CNN深度估计模型进行在线更新,从而优化单目稠密建图的精度。所提出的方法结合到基于单目相机的无人机自主避障应用中,与传统单目深度估计和建图方法相比能实现更加稳定的避障性能(平均飞行时间及飞行距离较同类方法提升接近三倍)。..科学意义:本课题的研究结果对增强现实中相机位姿跟踪和稠密建图性能有明显提升,有效推进了为增强现实理论和应用的发展,为提供一种移动环境下全新的人机交互方式提供核心算法与技术。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Joint Segment-Level and Pixel-Wise Losses for Deep Learning Based Retinal Vessel Segmentation
基于深度学习的视网膜血管分割的联合分段级和像素级损失
DOI:10.1109/tbme.2018.2828137
发表时间:2018-09-01
期刊:IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING
影响因子:4.6
作者:Yan, Zengqiang;Yang, Xin;Cheng, Kwang-Ting
通讯作者:Cheng, Kwang-Ting
DOI:10.1109/tmm.2018.2859034
发表时间:2019-02
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Hongcheng Luo;Yang Gao;Yuhao Wu;Chunyuan Liao;Xin Yang;Kwang-Ting Cheng
通讯作者:Hongcheng Luo;Yang Gao;Yuhao Wu;Chunyuan Liao;Xin Yang;Kwang-Ting Cheng
DOI:10.1007/s11042-017-4575-3
发表时间:2018-03
期刊:Multimedia Tools and Applications
影响因子:3.6
作者:Xin Yang;Jiabin Guo;Tangli Xue;K. Cheng
通讯作者:Xin Yang;Jiabin Guo;Tangli Xue;K. Cheng
DOI:10.1016/j.neucom.2018.10.019
发表时间:2019-01
期刊:Neurocomputing
影响因子:6
作者:Xin Yang;Hongcheng Luo;Yuhao Wu;Yang Gao;Chunyuan Liao;K. Cheng
通讯作者:Xin Yang;Hongcheng Luo;Yuhao Wu;Yang Gao;Chunyuan Liao;K. Cheng
Co-trained convolutional neural networks for automated detection of prostate cancer in multi-parametric MRI
用于多参数 MRI 中前列腺癌自动检测的联合训练卷积神经网络
DOI:10.1016/j.media.2017.08.006
发表时间:2017-12-01
期刊:MEDICAL IMAGE ANALYSIS
影响因子:10.9
作者:Yang, Xin;Liu, Chaoyue;Cheng, Kwang-Ting (Tim)
通讯作者:Cheng, Kwang-Ting (Tim)
基于CT影像的胰腺癌早期诊断人工智能方法研究
  • 批准号:
    62061160490
  • 项目类别:
    国际(地区)合作与交流项目
  • 资助金额:
    100万元
  • 批准年份:
    2020
  • 负责人:
    杨欣
  • 依托单位:
基于多参数核磁的前列腺癌自动检测与诊断方法研究
  • 批准号:
    61872417
  • 项目类别:
    面上项目
  • 资助金额:
    65.0万元
  • 批准年份:
    2018
  • 负责人:
    杨欣
  • 依托单位:
精准靶向新环路SUMlPV-dDGPV干预AD中记忆缺失的机制
  • 批准号:
    81701077
  • 项目类别:
    青年科学基金项目
  • 资助金额:
    20.0万元
  • 批准年份:
    2017
  • 负责人:
    杨欣
  • 依托单位:
国内基金
海外基金