3D 生成重建020-Gaussian Grouping在场景中分割并编辑一切

3D 生成重建020-Gaussian Grouping在场景中分割并编辑一切

0 论文工作

最近提出的高斯Splatting方法实现了高质量的实时三维场景新视角合成。然而，它仅仅关注外观和几何建模，缺乏细粒度的物体级场景理解。为了解决这个问题，论文提出了Gaussian Grouping，它将高斯Splatting扩展到联合重建和分割开放世界三维场景中的任意内容。为每个高斯函数添加了一个紧凑的标识编码，允许根据其在三维场景中的物体实例或物质成员关系对高斯函数进行分组。论文没有使用代价高昂的三维标签，而是利用分割任何事物模型（SAM）的二维掩码预测以及引入的三维空间一致性正则化，在可微渲染过程中监督标识编码。基于Gaussian Grouping，进一步提出了一种局部高斯编辑方案，该方案展示了其在各种三维场景编辑应用中的有效性，包括三维物体移除、着色、风格迁移和场景重组。
在复杂场景中对不同视角中的物体的语义信息进行统一。
paper
github

1 方法

Gaussian Grouping 的主要创新体现在以下几个方面：

将高斯Splatting扩展到场景理解和编辑: Gaussian Grouping并非仅仅停留在三维场景重建，而是将其扩展到场景理解和编辑领域。通过引入身份编码，它实现了对场景中物体的细粒度分割，并支持各种编辑操作。
利用SAM模型进行三维分割: 该方法巧妙地利用了SAM模型生成的二维分割掩码，并通过可微渲染过程将其监督信息传递到三维高斯函数的学习中，避免了对昂贵的三维标注数据的依赖。这是一种高效且有效的解决三维场景分割问题的思路。
提出局部高斯编辑方案: Gaussian Grouping 提出了局部高斯编辑方案，该方案能够对三维场景进行高效且细粒度的编辑，例如物体移除、着色、风格迁移和场景重组。这使得该方法更易于应用于实际的应用场景。
离散且可分组的三维表示: 与隐式NeRF表示相比，Gaussian Grouping采用离散且可分组的三维高斯表示，这种表示使得三维场景的各个组成部分可以被独立地处理和编辑，从而提高了编辑的效率和灵活性。
Gaussian Grouping 提出了一种新颖高效的三维场景理解和编辑方法，它结合了高斯Splatting、SAM模型和局部高斯编辑等多种技术，在开放世界场景理解和各种下游三维场景编辑任务中取得了显著的效果，具有很高的创新性和实用价值。

2 实验结果