PREDATOR: Registration of 3D Point Clouds with Low Overlap

Abstract

这篇文章介绍了一种新的点云配准模型-Predator。该模型专注于处理低重叠的点云对，它更加关注于重叠区域的处理，其新颖之处在于一个重叠的注意块，作用是用于两个点云的潜在编码之间的早期信息交换。该模型大大提高了低重叠场景下的配准效率。

Introduction

首先讲了现在的配准已经有了很高的recall，但是仍然还有改进的空间。因为之前的方法聚焦于处理高重叠度（大于30%）的点云，然而低重叠度的配准在实际应用当中也是非常重要的。

现有的方法，在重叠度低于30%时，性能会飞速下降。但是人工仍然能记录这种操作。为了研究原因，作者构建了一个低重叠数据集进行了分析发现：描述子几乎不会被非重叠的区域损坏。而配准低重叠点云的关键是在哪里采样特征点，而并非去构建更好的描述子。同时作者发现，如果特征点主要从扫描的重叠部分采样，则可以实现很大的性能提升。

文章的主要贡献如下：

分析为什么现有的配准方法在低重叠状态下效果很差

提出了一个全新的重叠注意力块允许两个点云做一些信息交换同时关注重叠区域

提出了一种改进特征点描述符的方案

设计了一种新的损失函数来训练匹配分数

还提供了一个3DLoMatch数据集（主要是一些低重叠的扫描对）

Related work

介绍了点云配准常用的组件

局部3D特征描述子：讲了一些目前存在的方法，这个描述子的目的是提取一些局部几何信息的特征。

兴趣点采样：作者论述对一个点进行采样，需要这个点是显著的salient，而且必须位于两个点云的重叠区域。但是很多人都忽略了第二点。

深度学习的点云配准：介绍了一些深度学习的配准方法。

上下文本信息：类似于注意力机制，要求关注局部的信息。

Method

Predator是一个双流编码器-解码器网络架构，使用带有kpconvs风格的点卷积的残差块，架构可以分解为三个主要模块。

将两个点云编码为更小的超点集和相关的潜在特征编码，并共享权值。

重叠注意模块（在瓶颈中）可以提取两个点云的特征编码之间的协同上下文信息，并为每个叠加点分配两个重叠分数，量化叠加点本身及其软对应位于两个输入之间重叠的可能性。

将相互制约的瓶颈表示解码为逐点描述符，以及精炼的逐点重叠和匹配分数。

Problem Setting

点云配准问题，目的是找到一个刚体变换（包含旋转和平移），使得一个点云能够对齐到另一个点云。它强调了点云之间必须有足够的重叠，并且定义了一个用于评估重叠程度的公式，涉及最近邻搜索和欧几里得距离。此外，还提到当重叠比率大于0.1时就尝试进行配准。

Encoder

介绍了编码器的功能，也就是图中左边的模块

Overlap attention module

现在已经对两个点云分别进行了编码，但是它们当中并不存在对方的点云信息。所以需要进行一个交互（cross-talk）。

图卷积神经网络：通过图卷积网络去加强文本关系。

交叉注意力块：这个模块的目标是让两个点云的相对信息互相融合，以便更好地表示重叠区域。

瓶颈点的重叠分数：分数表示点云中特定超点（superpoint）位于重叠区域的概率。关于这一部分，首先，使用交叉注意力模块更新超点的特征，使其包含其他点云的上下文信息；其次，使用另一个GNN更新局部上下文，并计算超点的重叠分数，分数表示超点位于两个点云重叠区域的概率。此外，还介绍了一种计算超点之间软对应关系的方法，有助于预测超点的交叉重叠分数。

Decoder

解码器接收来自编码器的条件化特征，并与重叠分数和交叉重叠分数进行拼接，然后输出每个点的特征描述符、重叠分数和匹配性分数。这些输出用于后续的点云处理任务。解码器的架构包括上采样、线性层和跳跃连接，以增强特征的传递和利用。通过分离处理重叠分数和匹配性分数，解码器能够更准确地评估每个点作为匹配候选的好坏。网络通过训练学习到在重叠区域内预测高匹配性。

Loss Function

圆圈损失：描述了一种用于点云特征描述符学习的损失函数，通过调整特征空间中正负样本的距离，来优化特征描述符的性能。

重叠损失：描述了一种用于评估点云配准中重叠区域识别准确性的损失函数，通过二元分类的方式进行监督学习，以优化模型对重叠区域的识别能力。

匹配性损失：描述了一种用于评估点云匹配过程中匹配质量的损失函数，通过动态生成真实标签并进行二元分类，以优化模型对点云中可匹配点的识别能力。

Experiments

实验一共在四个数据集上进行，分别是3DMatch、3DLoMatch，合成的以对象为中心的ModelNet40，大型户外场景的odometryKITTI。

如图所示，左边是输入的点云序列，中间是模型推理出的可能的重叠区域，右侧是估计的配准结果。

3DMatch

这个官方数据集中只考虑了重叠大于30%的扫描部分，作者又添加了对应部分，考虑重叠在10%到30%的扫描对。

接下来提出了评价的指标，包括配准召回率，特征匹配召回率（定义为在地面真值转换(不检查是否可以从这些匹配中恢复转换)下具有>5%的“inlier”匹配且残差<10 cm的配对的分数），还引入了经验累积分布函数来评估相对重叠率。

相对重叠率：就是说predator专注于提高点云之间的重叠区域，通过预测重叠分数并丢弃得分低于0.5的点，来筛选出高重叠区域。结果就是超过一半的低重叠点云对的重叠率被提高到了30%的阈值以上。

与基于特征的方法的比较：predator与其它基于特征的配准方法进行了比较，该方法在低重叠的3DLoMatch数据集上明显优于现有的方法，而且在3DMatch上也有最高的配准召回率。但是也不能胜任所有的任务（比如下图所示的任务），同时作者提到，重要的部分是找到位于重叠区域的兴趣点（interest point）

接下来是对ModelNet40和odometryKITTI的实验。

Conclusion

介绍了PREDATOR，是一个专为低重叠点云的成对配准设计的深度模型。核心是重叠关注模块，该模块可以在点云的潜在编码之间进行早期信息交换，从而推断出哪些点可能位于重叠区域。

“捕食者”有很多可以扩展的方向。目前它是与全卷积点云编码器紧密耦合的，依赖于在瓶颈处有合理数量的超点。在点密度非常不均匀的情况下，这是一个限制。低重叠区域的配准是具有挑战性的，PREDATOR不能解决所有的情况。