3D 高斯溅射 (Gaussian Splatting)技术，一种实现超写实、高效渲染的突破性技术
在不断发展的 3D 图形世界中，新的技术不断涌现，推动了图形表现的界限。3D 高斯溅射 (3DGS) 就是这样一种突破性新技术，这种方法能够以高效的速度、高度渲染具有真实感的场景而备受瞩目。
通过 V-Ray 7 强大的光线追踪功能，您现在可以将真实环境中捕捉到的高斯溅射数据，与计算机生成的物体对象完美融合在一起。
如果您熟悉 3D 渲染技术，但对其技术细节了解不深，请继续阅读，看看 3DGS 如何成为下一次图形技术的重大突破。
什么是 3D 高斯溅射？
3D 高斯溅射 (3DGS) 的核心技术是通过数百万个微小的、半透明的椭球体（即“高斯溅射”）来创建和渲染 3D 场景。与依赖多边形或复杂神经网络的传统方法不同，3DGS 利用这些溅射点来表现场景。每个溅射点包含其位置、颜色、大小和透明度的信息。当经过组合后，这些溅射点能高度还原场景的真实感。
3D 高斯溅射是如何进行呈现的？
3D 高斯溅射 (Gaussian Splatting) 可以准确地呈现从不同角度拍摄的多张照片中捕获的场景，这是计算机图形学中广泛使用的一种方法。通过一系列涉及优化算法和可微分光栅化的训练过程，这些图像被转换为可用于渲染的，精细的 3D 模型。
步骤流程
该过程的开始方式类似于摄影测量技术——使用照片或视频帧从多个角度捕捉拍摄对象。然后对这些图像进行分析，确定相机位置并生成场景的初步 3D 点云，这种方法被称为“运动结构” (SfM) 。
每个点云中的点被转换为一个高斯溅射，它不仅仅是一个点，还是具有特定属性的椭球体：
- 位置：确定溅射点在 3D 空间中的位置。
- 形状和大小：控制溅射的拉伸或缩放，使其能够表现精细的细节。
- 颜色：存储溅射的颜色信息，并且可以随着观察角度的改变而变化。
- 透明度：控制溅射的透明度，这对于将多层溅射混合在一起至关重要。
然后这些溅射点会经过优化过程，以进一步调整完善其参数，涉及：
- 可微分光栅化：将 3D 高斯溅射投射到 2D 平面，模拟相机视角。
- 损失函数：测量渲染的溅射图像与原始输入图像的差异。
- 优化算法：微调溅射，缩小渲染差异。
- 自适应密度控制：删除不必要的溅射或在细节区域增加溅射。
最终生成的 3D 图像与原始场景高度吻合，可以随时进行渲染。
为什么 3D 高斯溅射带来了革命性变化？
3DGS 的革命性之处在于其逼真度、效率和渲染速度的结合，使之成为计算机图形学领域 令人兴奋的技术进展。
逼真度
3DGS 擅长捕捉细腻的细节和复杂的光影效果，例如反射和折射。从而实现了以往在实时渲染中难以达到的高度写实感渲染效果。
效率
与多边形网格或大量数据的神经网络相比，高斯溅射更加简洁，这意味着所需的存储和计算能力更少。
速度
由于采用了高效的数据结构和优化的渲染流程，3DGS 能够实现实时或接近实时的渲染速度，因此非常适合交互式应用。
可扩展性
高斯溅射 (Gaussian Splatting)能够高效处理包含数百万个溅射点的复杂场景，而不会对性能造成明显影响。
渲染 3D 高斯溅射
3DGS 可以实现非常快的渲染速度，但其代价是在逼真度和灵活性方面受到限制。将高斯溅射集成到 V-Ray 光线追踪引擎中，可以克服这些挑战。从而可以准确表视捕获的场景并实现创意控制。
3D 高斯溅射、光栅化和光线追踪
虽然高斯溅射依靠光栅化过程实现了极快的渲染速度，但这也带来了许多限制。
幸运的是，3D 高斯溅射技术令人兴奋的发展之一就是将其集成到 V-Ray 中，V-Ray 强大的光线追踪功能突破了这些障碍。
使用 V-Ray 渲染高斯溅射
V-Ray 7 成为首个支持加载和渲染高斯溅射的商用光线追踪器，为艺术家和设计师开创了新的更多可能性。
在许多场景中，您可能希望使用高斯溅射作为复杂背景，而不是单独的场景对象。使用 V-Ray，您可以轻松地将 3D 模型放置在高斯溅射的真实环境背景中。
与传统环境贴图相比的优势
与传统的环境贴图相比，在 V-Ray 中使用高斯溅射可以获得多种优势：
- 恰到好处的视差效果：与传统的环境贴图不同，高斯溅射可以提供准确的深度信息，从而在摄影机移动时产生逼真的视差效果。
- 视角相关效果：溅射(splats)可以捕捉到根据视角变化的反射和折射效果，从而增强真实感。
- 遮挡处理：高斯溅射可遮挡场景中的其他物体，从而实现元素之间正确的分层和交互。
- 景深与运动模糊：V-Ray 可以通过高斯溅射自然地呈现这些效果，增加场景的逼真度。
使用高斯溅射作为遮罩对象
在某些工作流程中，您可能希望高斯溅射可以作为遮罩对象。这意味着，它们会与场景中的其他元素进行交互，例如遮挡物体、投射阴影，出现在反射和折射中，但不会影响最终的 RGB 和 Alpha 通道。
当您计划在后期处理中，使用高分辨率图像或视频替换背景，又同时希望高斯溅射可以影响光照和反射时，这种设置将非常有用。
高斯溅射作为独立对象
高斯溅射也可用于表现场景中较小的单个物体。
需要注意的是，光照和反射都会烘焙到高斯溅射对象中，因此这些对象不会受到场景光照的影响。
有什么局限性吗？
尽管 3DGS 前景广阔，但仍存在一些挑战：
- 精细细节表现：极其精细的细节有时可能会丢失或在溅射(splats)中出现锯齿状。
- 内存需求：渲染超大场景仍然需要较大的内存资源。
- 艺术控制：编辑或操控由高斯溅射呈现的场景不如传统 3D 建模那么简单直观。
目前，V-Ray 7 已支持高斯溅射作为场景对象的渲染，虽然基本功能已经具备，但仍有改进的空间。
- 速度改进：虽然高斯溅射的渲染已经很高效，但我们相信还可以做出更多改进。
- 阴影：高斯溅射在 V-Ray 中被视为自发光物体，因此无法直接接受来自其他物体对象的阴影。相反，您可以使用阴影捕捉器虚拟几何体来覆盖阴影所在位置。
- 对渲染元素的支持：目前还不支持渲染元素，但是 Z-深度，Cryptomatte 和 XYZ 通道都在我们的待办事项清单中。
- GPU 渲染：目前仅支持 V-Ray CPU。
在哪里可以创建 3DGS？
一些工具和平台开始支持 3DGS 创建：
- Nerf Studio: 用于创建、训练和可视化 3D 高斯溅射的命令行界面和工具。
- Polycam: 基于 Web 渲染器，使用 Three.js ，可实现交互式可视化。
- Luma AI: 提供基于 Web 的平台和 API，用于生成和渲染高质量 3D 高斯溅射。
- Postshot: 用于创建、训练和可视化 3D 高斯溅射的独立应用程序。
3D 高斯溅射的未来
3D 高斯溅射 (Gaussian Splatting)技术的潜在应用领域非常广泛：
- 影视与特效：为电影、动画和虚拟制作创建细致且逼真的环境场景和资产。
- 虚拟现实和增强现实(VR/AR)：提升 VR/AR 体验的真实感和性能。
- 数字孪生和仿真：为现实世界的物体和环境生成准确而详细的数字表现。
随着研究的深入，我们可以期待编辑功能的改进、与现有工作流程的更好集成以及更逼真的效果。3DGS 有望成为 3D 图形和计算机视觉领域的一项基础技术，为创意表达和技术创新带来新的可能性。
总结
3D 高斯溅射 (Gaussian Splatting)是 3D 渲染领域的一项激动人心的发展。它提供了一种更高效、更逼真的捕捉和渲染场景的方法，有望改变从电影、建筑可视化到虚拟现实等各个行业。虽然它仍是一项发展中的技术，存在一些局限性，但它的优势使其成为一项值得探索的技术。
无论您是寻找新工具的 3D 艺术家，还是只对最新渲染技术发展感兴趣的人。3DGS 都代表着我们在创建和体验数字世界方面向前迈进了一大步。