3D 生成重建015-Feature 3DGS理解3DGS场景内的一切

33D 生成重建015-Feature 3DGS理解3DGS场景内的一切

0 论文工作

论文提出了一种名为“Feature 3DGS”的方法，该方法通过整合二维基础模型（如SAM和CLIP-LSeg）的特征场蒸馏，显著增强了三维高斯点渲染（3D Gaussian Splatting，3DGS）的功能。这种改进不仅限于新视角合成，还扩展到语义分割、语言引导的编辑和可提示的分割任务等。

主要贡献：
方法创新：提出了一种基于3DGS的新框架，用于通过二维模型指导进行特征场蒸馏。
性能提升：该方法相比基于NeRF的方法，训练和渲染速度提升至2.7倍，同时在语义分割任务中实现了23%的mIoU改进。
多样化应用：展示了方法在语义分割、语言引导的编辑及无提示的分割任务中的优越性能。
首次支持提示编辑：利用SAM模型实现了对三维场景的点和边界框提示操作。
核心改进：
针对NeRF方法的局限性（训练和渲染速度慢、连续性伪影），本文提出了一种并行N维高斯渲染器，并结合卷积解码器加速训练和渲染。
实验结果表明，该方法在保持高效的同时，能生成高质量的语义特征场和图像，适用于多种下游任务。
应用场景：
论文证明了其方法在新视角语义分割、语言引导编辑以及实时渲染等任务中的潜力，特别适用于需要高效且精确的三维语义表示场景。
在更早的Segment Anything in 3D with NeRFs中是更早用sam信息蒸馏到3D表示中。不过期间的nerf可以用新的分支来存放预测语音特征。在3DGS中原来的管道直接渲染高纬度的特征会很慢，论文提出先渲染一个低纬度特征再升维特征的方法进行加速。前期也有直接用CLIP，DINO的特征进行场景的理解的工作。
paper
github

1 方法介绍

下图是论文的结构图，$(x,(q,s),c,\alpha ，f)$,q, s表示的是四元组表示的旋转平移，f是语义特征。语义的渲染方式跟图像的渲染方式一样。只不过如果直接渲染高位的SAM或者CLIP特征的话，维度会很高，这就会造成基础管线并不支持 这样的操作。为了简化问题，语义特征先优化一个低维的语义特征，然后进行升维。升维的信息用2d的基础模型进行监督。通过训练优化后语义信息就潜入到f中。也许我们可以找到新的方式来优化这个特征的潜入方式。i think.

2 实验效果

实验结果可以在网站找到,project