【自动驾驶】3 激光雷达②

4 激光雷达点云检测算法

💚论文标题：3D Object Detection for Autonomous Driving: A Comprehensive Survey（面向自动驾驶的3D目标检测：综合调研）

💚论文地址：https://arxiv.org/pdf/2206.09474

【摘要】

💕💕💕近年来，自动驾驶因其在减轻驾驶人负担、提高驾驶安全性等方面的潜力而受到越来越多的关注。在现代自动驾驶中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，为预测和规划提供可靠的观测数据。3D目标检测是感知系统的重要组成部分，旨在预测自动驾驶车辆附近三维目标的位置、大小和类别。

💕💕💕本文综述了自动驾驶中3D目标检测的研究进展。首先，我们介绍了3D目标检测的背景并讨论了该任务中面临的挑战。其次，我们从模型和感知输入两个方面对3D目标检测的进展进行了全面的调研，包括基于LiDAR、基于相机和多模态的检测方法。我们还深入分析了每一类方法的潜力和挑战。此外，我们系统地研究了3D目标检测在驾驶系统中的应用。最后，我们对3D目标检测方法进行了性能分析，并进一步总结了多年来的研究趋势，展望了该领域未来的发展方向。

🦋🦋🦋关键词： 3D目标检测·感知·自动驾驶·深度学习·计算机视觉·机器人技术

图2：自动驾驶场景下的3D目标检测示意图。

【数据集】

💚💚💚大量的驾驶数据集被建立，为3D目标检测提供了多模态的感知数据和3D标注。表1列出了在驾驶场景中采集数据并提供3D长方体标注的数据集。KITTI是一项开创性的工作，提出了一种标准的数据收集和标注范式：为车辆配备相机和LiDAR传感器，在道路上驾驶车辆进行数据收集，并从收集的数据中标注3D物体。

后续工作主要从4个方面进行改进。

◆ 增加数据规模

与[ 82 ]相比，最近的大规模数据集[ 268、15、186]拥有超过10倍的点云、图像和标注。

◆ 提高数据的多样性

[ 82 ]只包含在白天和良好天气下获得的驾驶数据，而最近的数据集[ 51、30、218、15、268、321、186、315]提供了在夜间或雨天捕获的数据。

◆ 提供更多的注释类别

一些数据集[ 154、321、84、315、15]可以提供更细粒度的对象类，包括动物、障碍物、交通锥等。他们还提供了现有类别的细粒度子类别，例如[ 15 ]中现有行人类的成人和儿童类别。

◆ 提供更多模态的数据

除了影像和点云之外，最近的数据集提供了更多的数据类型，包括高清地图[ 114、30、268、315]、雷达数据[ 15 ]、远距离LiDAR数据[ 313、307 ]、热图像[ 51 ]等。

图3：基于LiDAR的3D目标检测方法的发展历程。

图4：基于点的3D物体检测方法示意图。

图5：基于网格的三维物体检测方法示意图。

图6：基于点体素的三维物体检测方法示意图。

图10：基于相机的3D物体检测方法的时间概览。

图11：基于图像的单目三维物体检测方法示意图。图像样本来自[ 293 ]。

图12：深度辅助的单目三维物体检测方法示意图。图像和深度样本来自[ 176 ]。

图13：单目3D目标检测方法中先验类型示意图。样品均来自[ 39、98、319、9、213]。

图14：立体化的三维物体检测方法示意图。图像和视差样本来自文献[ 231 ]。

图15:为多视角三维目标检测方法示意图。图来自[ 219 ]和[ 305 ] 。

图16：多模态3D目标检测方法的时间概览。

图17：基于早期融合的三维目标检测方法示意图。

图18：基于中间融合的三维目标检测方法示意图。

图19：基于后期融合的三维目标检测方法示意图。

图20：基于Transformer的3D物体检测器的时间概述。

图21：时态3D目标检测方法的时间概述。

【结论】

🌸🌸🌸在本文中，我们对自动驾驶的3D目标检测的各个方面进行了全面的回顾和分析。我们从3D目标检测的问题定义、数据集和评价指标出发，介绍了各种基于传感器的3D目标检测方法，包括基于LiDAR的、基于相机的和多模态的3D目标检测方法。我们进一步研究了利用时间数据的三维目标检测和标签有效的学习，以及它在自动驾驶系统中的应用。最后，总结了近年来的研究趋势，并对3D目标检测的未来研究方向进行了展望🌸🌸🌸。

【扩展】

◆ Point based

💕使用PointNet++等网络获得点云的特征向量（FPS降采样+ball query获取临域点+conv/fc特征映射），在少量的具有高维特征向量的点云上进行目标检测。

◆ voxel based

💕点云检测算法是指输入为原始点云，输出为场景目标的算法，形成的点云目标绿色是车，黄色的是人。

主要有两种点云的算法: 一个是point based方法，一种是Voxel based方法。Point Based使用PointNet++等网络获得点云特征向量，在少量的具有高维特征向量的点云上进行目标检测。而Voxel based方法是将三维空间划分为Pillar/Voxel（体素）, 将点云投影到Pillar/Voxel(point pillars)生成BEV的特征图，使用2D检测头进行检测。

◆ point-voxel based

💕point based方法获得点的特征向量，voxel based方法获得voxel的特征向量，将点的特征和voxel的特征进行融合。

至此，本文分享的内容就结束了💕💕💕。