基于单幅图像的复杂管路智能检测与位姿识别基础理论及关键技术研究

批准号:
51875044
项目类别:
面上项目
资助金额:
60.0 万元
负责人:
刘少丽
依托单位:
学科分类:
E0510.制造系统与智能化
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
张旭、张斌、张斌、张佳朋、金鹏、王骁、王治、任杰轩、吴天一
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
管路实物检测是保证管路制造质量和实现无应力自动化装配的关键环节。项目在已有的基于多目视觉的管路测量系统及研究成果的基础上,以提高管路测量的精度、效率和自动化、智能化程度为目标,开展极具发展前景的基于单幅图像的复杂多分支管路智能理解、三维重建及位姿求解所需的新理论、新方法研究,实现对复杂多分支管路的智能理解、位姿识别及精确三维重建,完成包括非圆形截面管路、 多弯曲半径及自由形状管路、多分支管路及其附件的高精度快速自动测量与智能识别。具体内容包含一维流形管路数学描述方法、非欧几何三维结构不变量在单幅及多幅图像三维重建中的重要意义、基于能量泛函的单幅图像管路三维重建方法、无纹理少特征管路智能感知与理解、高精度位姿感知与表达等关键实现技术。通过上述内容的研究,项目将解决基于单幅图像的多分支复杂管路智能理解与快速测量的瓶颈难题,加速机器视觉技术在多样化零件中的非接触、快速智能测量中的应用。
英文摘要
The tube measurement is the most effective method to ensure the tube's manufacturing quality and realize the automation stress-free assembly. The purpose of this project are to improve the accuracy, efficiency, automaticity and the intelligent level of the tube measurement. On the basis of our tube measurement system and research results, we investigate the most prospective theory and technique including the understanding, pose detection and accurate 3D reconstruction of complex tubes based on only one single image, to complete high precision and fast automatic measurement of complex tubes including non-circular-cross-section tubes, multi-bending radius tubes and free form tubes. The research contents includes one dimensional manifold tubes mathematical description, the significance of the three-dimensional geometry invariants in single and multiple image based 3D reconstruction, energy functional-based tube 3D reconstruction of a single image, intelligent perception and understanding of tubes with less texture characteristics, high precision position perception and expression and so on. Through the above studies, the key theory and technique on intelligent understanding and rapid measurement of complex multi-branch tubes will be solved, resulting in application promotion of the machine vision technology in the non-contact, rapid, intelligent measurement of various parts.
管路在航空、航天、汽车等工业领域的复杂机电产品中广泛应用,其可靠安装直接影响产品质量。管路检测是保证其制造质量和实现无应力自动化装配的关键环节。项目以提高管路测量的精度、效率和自动化、智能化程度为目标,旨在解决大尺寸空间复杂管路无接触快速精确测量及管路机器人自动装配等问题。本项目提出了基于单幅图像的复杂多分支管路智能理解、三维重建及位姿求解所需的新理论、新方法。经过四年富有成效的研究工作,本项目攻克了该方法中的关键技术,实现了项目研究目标,获得了具有创新性的研究成果:(1)提出了单目视觉三维重建总体框架及算法:基于图像一致性原理,利用神经网络生成点云和面片模型,预测并融合多视角深度图获得三维点云,基于深度学习预测顶点位移生成面片模型从而完成基于单目视觉的管路三维重建并可拓展至其他物体;(2)提出了一种灰度低谷及蛇模型能量泛函的自由管路重建与测量方法。基于灰度正弦低谷阈值规律构建蛇模型能量优化函数,从而使得初始化模型在三维空间优化变形,首创性地解决了自由形状复杂管路三维重建问题;(3)提出了一种基于三维骨架的非圆形截面管路三维重建方法。将重建三维骨架映射到高维普吕克坐标系,基于聚类分析方法快速、精确分割导管直线段与弯曲段,实现了非圆形截面导管的快速、准确测量;(4)提出了基于轮廓特征的分支管路结构识别方法。基于形状描述子将轮廓、形状转换为信号数据,在此基础上训练神经网络,对管路中直线、圆弧、接头、连接件、三通和二通等零部件进行准确的分类和识别;(5)提出了管路位姿智能识别方法。构建管路参数化投影模型,建立空间位姿参数的变化量与图像中符号距离的改变量之间的映射关系,构建观测方程,从而获得管路精确位姿。(6)对多分支复杂管路测量进行了精度验证,本项目所提方法能够实现多种类型管路,包括异形截面、圆形截面、多弯曲半径、自由形状等多分支管路、接头及连通等附件的快速、精确三维非接触式检测,管路中心线检测精度± 0.1mm,这些成果解决了多分支复杂管路智能理解与快速测量的瓶颈难题,填补国内外空白。发表论文13篇,其中SCI检索7篇,EI检索5篇;申请国家发明专利8项;培养博士后1人,硕士生3人。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
A Universal, Rapid and Accurate Measurement for Bend Tubes Based on Multi-View Vision
基于多视角视觉的通用、快速、准确的弯管测量
DOI:10.1109/access.2019.2921420
发表时间:2019-06
期刊:IEEE Access
影响因子:3.9
作者:Liu Shaoli;Wu Tianyi;Liu Jianhua;Wang Xiao;Jin Peng;Huang Hao;Liu Wei
通讯作者:Liu Wei
A measurement method of free-form tube based on multi-view vision for industrial assembly
一种基于多视角视觉的工业装配自由曲面管材测量方法
DOI:10.1108/aa-05-2019-0087
发表时间:2020-03
期刊:ASSEMBLY AUTOMATION
影响因子:2.1
作者:Wu Tianyi;Liu Jian Hua;Liu Shaoli;Jin Peng;Huang Hao;Liu Wei
通讯作者:Liu Wei
Latent Representation Self-Supervised Pose Network for Accurate Monocular Pipe Pose Estimation
用于精确单目管道姿势估计的潜在表示自监督姿势网络
DOI:10.1109/tii.2022.3225028
发表时间:2023-05
期刊:IEEE Transactions on Industrial Informatics
影响因子:12.3
作者:Jia Hu;Shaoli Liu;Jianhua Liu;Zhenjie Wang;Wenxiong Zhang
通讯作者:Wenxiong Zhang
DOI:10.16731/j.cnki.1671-3133.2020.04.008
发表时间:2020
期刊:现代制造工程
影响因子:--
作者:任杰轩;张旭;刘少丽;王治;吴天一
通讯作者:吴天一
Pipe pose estimation based on machine vision
基于机器视觉的管道位姿估计
DOI:10.1016/j.measurement.2021.109585
发表时间:2021-06-10
期刊:MEASUREMENT
影响因子:5.6
作者:Hu, Jia;Liu, Shaoli;Huang, Hao
通讯作者:Huang, Hao
基于多目视觉的复杂管路数字化快速检测新方法研究
- 批准号:51305031
- 项目类别:青年科学基金项目
- 资助金额:25.0万元
- 批准年份:2013
- 负责人:刘少丽
- 依托单位:
国内基金
海外基金
