3D 生成重建038-DiffGS训练一个3DGS编码器来简化训练

3D 生成重建038-DiffGS训练一个3DGS编码器来简化训练

0 论文工作

三维高斯溅射（3DGS）在渲染速度和保真度方面表现出了令人信服的性能，但由于其离散性和非结构性，高斯溅射的生成仍然是一个挑战缝合。在这项工作中，论文提出了一种基于潜在扩散模型的通用高斯发生器。作者通过三个新的函数来模拟高斯投影来表示高斯溅射颜色，颜色和变换，这个很像SDF上用到的一些出炉。通过3DGS的解耦，可以表示具有连续高斯飞溅射函数的离散和非结构化的3DGS，在核心的点是训练一个潜在的以无条件和条件生成高斯溅函数为目标的扩散模型。这样生成的时候就不需要再处理离散性和非结构性的3dgs数据了，主要考虑隐空间的数据特征去生成三平面。三平面无论是用前面的哪种思路都会是一个完整的base。
接下来我也想再去看看之前看的直接用transformer结构生成3d点云的pointE和生成nerf的shapE。
目前来看纯transformer结构的3d生成工作没有基于扩散模型的大模型生成工作多了。
paper
github
相关论文
nerfdiff
diffnef
hyperdiffusion
GRM
LGM
GAUSSIANANYTHING

1 论文方法

这个论文的图分了三层，简单理解工作流程的话，只看第一行的图就行了。离散性和非结构性的3Dgs直接生成是不那么方便的，有些工作是生成三平面再合成3dGS，中间都转了一步，这就有一个范化性问题。像[GAUSSIANANYTHING的话都是保证是1024个点进行生成处理。这个工作的思路实际可以拿pixel空间的扩散模型跟隐空间的SD做类比，通过一个特定的编码器不光能将3dgs数据压缩到特定的隐空间变成连续性特征，然后还能简化计算量。然后训练一个解码器能将这个特征生成三平面特征就闭环了。
DiffGS 旨在高效生成高质量的三维高斯 splatting 模型。它通过将离散的、非结构化的 3D Gaussian splatting 表示为连续的函数，并利用扩散模型和变分自编码器来学习和生成这些函数，从而解决了现有方法在生成高质量 3D Gaussian splatting 模型时遇到的挑战。 具体来说，DiffGS 包含以下几个关键步骤：
函数表示: 将 3D Gaussian splatting 表示为三个连续函数：高斯概率函数、高斯颜色函数和高斯变换函数。
高斯变分自编码器 (Gaussian VAE): 训练一个 Gaussian VAE 来学习这三个函数的潜在表示。
扩散模型: 利用扩散模型对 Gaussian VAE 的潜在表示进行去噪，生成高质量的函数。
高斯 splatting 图元生成: 根据生成的函数，生成高质量的 3D Gaussian splatting 图元。
流程分为三步：
1、3dgs encoder的训练数据压缩与结构转换
2、生成三平面的扩散模型
3、解耦的三特征转换

2 实验结果