基于改进Nystrom的机器人彩色-深度图像实时分割方法研究

Color-depth image is able to significantly improve robotics sensing. Image segmentation on color-depth data thus is an essential technic for other related applications. To obtain a good balance between efficiency and accuracy, we will focus on a number of theoretical and practical problems in color-depth image segmentation. Our theoretical goal includes: (1) revealing links between controllable and observable variables and the Nystrom approximation error, which plays as an important role for our follow-up studies, (2) conducting the optimal sampling, in the form of both probabilistic and deterministic, to minimize approximation error and (3) employing the main idea of ‘divide-approximate-merge’, splitting data into groups, approximating on each group and merging the approximations from different groups. Our practical goal consists of: (1) estimating the missing data in depth image, a common problem in transparency or semi-transparency object detection, by the connectivity in color image and (2) generating the L_1 norm low rank reconstruction, which is able to extract background and benefit foreground segmentation. Combine both theoretical and practical results, we will propose the error analysis on Nystrom-approximated non-orthogonal eigenvectors and the fast Nystrom approximation via groups. Finally, we will propose an adaptive color-depth image segmentation method, which is suitable for transparency object segmentation and plays a key role in picking and service robotics. Our study will propose a new technic for image segmentation, object detection and recognition.

彩色-深度信息可以显著提升视觉机器人的感知能力，其分割方法，是众多后续应用的核心支撑技术。针对图割理论实时性与精度的矛盾，本研究拟在理论与应用两方面展开。理论方面主要内容为：（1）针对Nystrom近似，建立工业可观可控量与近似误差的函数，奠定理论基础；（2）以最小化误差为目标，研究概率型与确定型两种最优采样；（3）采用“分组-近似-合并”的思想，分组采样、各自近似、合并结果，利于并行加速。应用方面主要包括：（1）利用彩色图像连通性，恢复透明物体缺失的深度数据；（2）研究视频中背景L_1范数迭代计算，实现快速低秩背景重构，辅助前景分割。通过完善非规范正交的Nystrom近似误差分析，建立基于分组思想的快速Nystrom近似，最终形成一种精度可随应用需求动态调节的、对透明物体鲁棒的抓取、服务机器人彩色-深度图像实时分割算法。本项目的研究将为图像分割、物体检测与识别提供一种新的技术方法。

彩色-深度信息可以显著提升视觉机器人的感知能力，其分割方法，是众多后续应用的核心支撑技术。本课题研究了1）一种新的大规模谱聚类框架，具有易并行、易增量式、内存固定等优点、2）Nystrom近似的一般框架，覆盖常见的采样方法，并证明核k均值聚类中心是Nystrom最优采样、3）基于偏振光的透明玻璃体检测和4）上述内容的应用。传统大规模数据谱聚类的近似方法，存在不易并行（两次特征分解）、不易增量计算（机器人实操具有增量式特点）、内存开销大（采样数据随数据总量增大）的缺点；对此，本课题提出了一种新的谱聚类框架，具有仅需一次特征分解、易于增量、常驻内存不随数据总量变化等特点。Nystrom采样决定了谱聚类的近似精度。本课题将采样等价为矩阵乘法近似问题，给出一般框架，覆盖常见采样方法，并证明，该近似的误差上界为核k均值聚类误差与一个常量之和，从而证明了核k均值聚类的最优性。透明物体检测与分割是机器人导航、抓取的难点。玻璃等透明物体的反射光具有较强的偏振特性，本课题利用这一物理规律，采用偏振相机，通过对图像的偏振度和普通图像的纹理分析，实现玻璃等透明物体检测与分割。将上述研究内容，应用于快速图像分割等任务，取得良好效果。最终形成了一种高效、低资源需求、对透明物体鲁棒的抓取、服务机器人图像实时分割算法。项目资助发表论文19篇，包括SCI大类一二区7篇，CCF B类会议3篇；申请发明专利16件，取得软件著作权1项，培养研究生6人。

内容获取失败，请点击重试