【论文精读】GaussReg: Fast 3D Registration with Gaussian Splatting

今天读一篇发表在ECCV2024上的文章，作者来自港中深。
文章链接：GaussReg: Fast 3D Registration with Gaussian Splatting
项目地址：GaussReg

Abstract

Point Cloud Registration是大规模 3D 场景扫描和重建的核心问题。随着深度学习的发展，该任务已趋于成熟。然而，NeRF作为一种新兴的场景表示方法，在大规模场景重建中的注册问题尚未得到充分探索。这主要是由于其隐式表示方式，使得难以建模两个场景之间的几何关系。现有方法通常需要将隐式表示转换为显式表示再进行配准。

最近，Gaussian Splatting被剔除，它使用显式3D高斯分布，既保持了高质量渲染，又提高了渲染速度。在本研究中，我们探索基于GS的3D配准任务，并提出了一种新颖的GaussReg框架，该框架采用 coarse-to-fine方法，兼具高效性和准确性：

• 粗配准阶段：基于点云配准方法，估计GS点云的粗略对齐。
• 细配准阶段：利用GS渲染的图像提取几何信息，实现更精确的对齐。

此外，我们构建了ScanNet-GSReg数据集和GSReg数据集进行评估。实验结果表明，GaussReg 比 HLoc（SuperPoint + SuperGlue）快44倍，且精度相当，在多个数据集上达到了 SOTA性能。

1 Introduction

1.1 3D场景配准的背景

在传统的三维场景重建中，大型场景通常会被划分为多个独立的子场景，这些子场景可能处于不同的坐标系中，因此配准成为关键步骤。目前，点云配准技术较为成熟，如：

• ICP（Iterative Closest Point）
• D3Feat
• GeoTransformer

这些方法通常通过从点云中提取特征点，并进行匹配以计算变换矩阵来完成配准。

1.2 NeRF与配准问题

最近，NeRF 作为 3D 场景建模的热门方法，能够生成高质量的合成视图。然而，NeRF在大规模场景重建中仍然面临两个挑战：

• 数据采集时间长：需要大量的图像或视频进行训练。
• 计算成本高：优化NeRF需要大量计算资源。

为了解决这一问题，一种直接的方式是将大场景划分为多个小场景，并通过配准将它们组合在一起。目前NeRF配准方法主要有：

• NeRFuser：渲染大量图像，使用SfM进行配准，但时间开销大。
• DReg-NeRF：将NeRF转换为Voxel后进行配准，但受限于体素分辨率。

1.3 Gaussian Splatting的引入

GS是一种新型3D场景表示方法，它采用显式3D高斯分布，能够在保持高质量渲染的同时提高渲染速度。GS 的引入带来了一个新的问题：

“既然Gaussian Splatting提供了点云表示，我们能否利用点云配准方法进行GS配准？”

为了解决这一问题，我们提出了GaussReg框架，该框架结合点云配准与图像引导的细配准，以实现更高效和准确的GS配准。

2 Related Work

介绍了相关工作。

3 Method

3.1 Overview

如Fig. 2所示，我们提出的框架由两个阶段组成：

1. Coarse Registration：
   • 从GS提取点云，并应用GeoTransformer进行初步对齐。
   • 由于GS点云通常存在噪声，粗配准的结果可能不够精确。
2. Image-Guided Fine Registration：
   • 基于粗配准结果，定位重叠区域，并渲染若干图像。
   • 利用这些图像构造3D体素特征（Volumetric Features），以实现更精确的配准。

3.2 Coarse Registration

• 点云提取：GS由3D高斯点组成，每个点包含位置、透明度（Opacity）、旋转、缩放等属性。我们选取透明度高于 0.7 的点作为输入。
• 特征提取：
  • 采用KPConv-FPN提取多尺度特征。
  • 最粗糙的特征用于Superpoint Match，使用Geotransformer来完成；精细的特征用于Point Match，使用ICP得到coarse registration（而非使用Geotransformer中的local-to-global registration）。

3.3 Image-Guided Fine Registration

GS不仅包含几何信息，还可以渲染高质量图像。因此，我们利用图像进行更精确的配准：

1. 重叠图像选择（Overlap Image Selection）：
   • 计算相机视角的余弦相似度，选取重叠度最高的相机对。
   • 通过GS渲染深度图，并计算视角共享区域，筛选最优的图像对。
2. 图像引导 3D 特征提取（I3D Feature Extraction）：
   • 使用MVS提取深度和特征。
   • 构建Probability Volume以优化深度估计。

3.4 Gaussian Splatting的融合与过滤

在最终变换完成后，我们将两个GS模型合并：

• 变换位置、旋转、尺度、透明度。
• 采用球谐系数调整颜色信息。
• 进行GS过滤，去除重复或错误的高斯点。

4 Experiment

4.1 Experiment Setup

我们构建了两个新数据集：

• ScanNet-GSReg：基于ScanNet生成，包含不同的视角组合。
• GSReg：包括6个室内和4个室外场景。

4.2 Comparison

在ScanNet-GSReg上的比较：

提出的GaussReg比HLoc快44倍，并且具有更高的成功率。

4.3 Ablation Study

简单的消融实验验证模块有效性。

5 Conclusion

• 我们是首个探索 Gaussian Splatting 配准的工作。
• 提出了 Coarse-to-Fine Registration，兼具高效性与准确性。
• 通过图像引导细配准，提高了配准精度。
• 构建了两个新数据集，为后续研究提供基准。

未来工作可进一步优化GS模型融合，解决光照变化等问题。