SLAM-OR: Simultaneous Localization, Mapping and Object Recognition Using Video Sensors Data in Open Environments from the Sparse Points Cloud.
SLAM-OR: Simultaneous Localization, Mapping and Object Recognition Using Video Sensors Data in Open Environments from the Sparse Points Cloud.
复制标题
DOI：
10.3390/s21144734
复制
发表时间：
2021-07-11
期刊：
影响因子：
--
通讯作者：
Hachaj T
中科院分区：
文献类型：
--
作者：
Mazurek P;Hachaj T
在本文中，我们提出了一种新颖的方法，可以在开放环境中使用视觉传感器数据实现同步定位、地图绘制（SLAM）和对象识别，并且能够在稀疏数据点云上工作。在所提出的算法中，ORB-SLAM 使用当前和之前的单目视觉传感器视频帧来确定观察者位置并确定代表环境中对象的点云，而深度神经网络使用当前帧来检测和识别对象 (OR)。下一步，将 SLAM 算法返回的稀疏点云与 OR 网络识别的区域进行比较。由于 3D 地图中的每个点在当前帧中都有其对应点，因此将执行与 OR 算法识别的区域匹配的点的过滤。聚类算法确定点密集分布的区域，以检测 OR 检测到的对象的空间位置。然后，通过使用基于主成分分析 (PCA) 的启发式方法，我们估计检测到的对象的边界框。使用 SLAM 生成的稀疏点云来确定深度神经网络识别的对象位置的图像处理管道和提到的 PCA 启发式是我们解决方案的主要新颖之处。与最先进的方法相反，我们的算法不需要任何额外的计算，例如生成用于对象定位的密集点云，这极大地简化了任务。我们使用各种最先进的 OR 架构（YOLO、MobileNet、RetinaNet）和聚类算法（DBSCAN 和 OPTICS）评估了我们对大型基准数据集的研究，获得了有希望的结果。我们的源代码和评估数据集都可供下载，因此我们的结果可以轻松重现。
In this paper, we propose a novel approach that enables simultaneous localization, mapping (SLAM) and objects recognition using visual sensors data in open environments that is capable to work on sparse data point clouds. In the proposed algorithm the ORB-SLAM uses the current and previous monocular visual sensors video frame to determine observer position and to determine a cloud of points that represent objects in the environment, while the deep neural network uses the current frame to detect and recognize objects (OR). In the next step, the sparse point cloud returned from the SLAM algorithm is compared with the area recognized by the OR network. Because each point from the 3D map has its counterpart in the current frame, therefore the filtration of points matching the area recognized by the OR algorithm is performed. The clustering algorithm determines areas in which points are densely distributed in order to detect spatial positions of objects detected by OR. Then by using principal component analysis (PCA)—based heuristic we estimate bounding boxes of detected objects. The image processing pipeline that uses sparse point clouds generated by SLAM in order to determine positions of objects recognized by deep neural network and mentioned PCA heuristic are main novelties of our solution. In contrary to state-of-the-art approaches, our algorithm does not require any additional calculations like generation of dense point clouds for objects positioning, which highly simplifies the task. We have evaluated our research on large benchmark dataset using various state-of-the-art OR architectures (YOLO, MobileNet, RetinaNet) and clustering algorithms (DBSCAN and OPTICS) obtaining promising results. Both our source codes and evaluation data sets are available for download, so our results can be easily reproduced.
登录
查看更多内容
影响因子：
5.2
作者：
Ferrera, Maxime;Eudes, Alexandre;Le Besnerais, Guy
通讯作者：
Le Besnerais, Guy
影响因子：
8.2
作者：
Bresson, Guillaume;Alsayed, Zayed;Glaser, Sebastien
通讯作者：
Glaser, Sebastien
MonoFENet：具有特征增强网络的单目 3D 物体检测
影响因子：
10.6
作者：
Bao, Wentao;Xu, Bin;Chen, Zhenzhong
通讯作者：
Chen, Zhenzhong
DOI：
10.3390/s21061963
发表时间：
2021-03-11
期刊：
Sensors (Basel, Switzerland)
影响因子：
--
作者：
Hachaj T;Bibrzycki Ł;Piekarczyk M
通讯作者：
Piekarczyk M
影响因子：
12
作者：
Fuentes-Pacheco, Jorge;Ruiz-Ascencio, Jose;Manuel Rendon-Mancha, Juan
通讯作者：
Manuel Rendon-Mancha, Juan