SIBR详细介绍：基于图像的渲染系统及3DGS实例展示【3DGS实验复现】

什么是 SIBR？

SIBR（System for Image-Based Rendering）是一个专为基于图像的渲染（Image-Based Rendering，简称 IBR）开发的系统。与传统的 3D 渲染不同，SIBR 依赖于从多个视角拍摄的2D图像数据，重建或合成出三维场景或物体的渲染效果。它广泛应用于计算机图形学、虚拟现实（VR）、游戏开发等领域，能够生成高质量的逼真渲染图像，而不依赖完整的三维几何模型。

IBR 技术的优势

传统的 3D 渲染技术依赖于场景的几何结构和材质信息，而 IBR 技术通过使用多张真实拍摄的图像来进行渲染，这种方法具有几个显著的优势：

1. 减少对复杂几何建模的依赖：IBR 使用图像信息直接生成渲染效果，无需复杂的 3D 建模，适合处理复杂或不规则的物体和场景。
2. 高效的实时渲染：基于图像的渲染通常可以在保持高视觉质量的前提下，提高渲染效率，尤其适合虚拟现实和游戏等需要快速生成图像的应用。
3. 逼真的视觉效果：因为 IBR 直接使用真实图像中的颜色、光照等信息，所以生成的效果往往比完全依赖于3D模型渲染的图像更加逼真。

SIBR 的核心组件

SIBR 系统由多个模块组成，每个模块负责处理图像渲染管道中的特定任务：

1. SIBR 核心模块：这是 SIBR 的基础部分，包含了基本的图像渲染器。它能够执行非结构化光场渲染（Unstructured Lumigraph Rendering，ULR），这是一种基于每个像素的渲染技术，适用于从不规则分布的相机图像生成高质量渲染。

2. 数据集工具：SIBR 提供一套工具来处理输入的图像数据集。这些工具能够从原始的 2D 图像中提取有用的信息（如相机姿态、光照条件等），并将其准备好用于渲染管道。

3. 优化器：在某些应用中，SIBR 结合了优化算法，用于改进渲染效果。它支持从大量图像数据中优化相机位置、光线追踪和颜色重建等关键参数。

4. 实时渲染器：SIBR 支持实时渲染功能，能够以较快的速度生成高质量的图像，这对于需要动态场景更新的应用，如虚拟现实（VR）或增强现实（AR）非常重要。

SIBR 的应用场景

SIBR 作为 IBR 的核心系统，被广泛应用于许多需要生成三维视觉效果的领域：

1. 虚拟现实（VR）和增强现实（AR）：SIBR 能够将拍摄到的真实世界图像转化为虚拟的三维环境，非常适合 VR/AR 应用。通过使用多个视角的图像，SIBR 可以在 VR 设备中展示出逼真的 360 度场景。

2. 影视和游戏行业：游戏和电影中常用到虚拟场景，SIBR 允许开发者在不依赖复杂3D建模的情况下快速生成逼真的视觉效果，尤其是需要处理大规模复杂场景时，IBR 的效率优势明显。

3. 学术研究与实验：SIBR 系统和其公开的代码库在学术界的图形学研究中也有广泛应用。它为研究人员提供了一个平台，能够基于现有的图像数据集进行实验，进一步开发新的图像渲染算法。

如何使用 SIBR？

SIBR 支持 Windows 系统，并且可以通过 Gitlab 或 GitHub 下载其开源代码。用户可以通过以下步骤来安装和使用 SIBR：

1. 环境配置：首先，确保安装必要的开发工具，例如 Visual Studio 2019、CMake、CUDA 等，用于编译和运行 SIBR。

2. 下载与编译：从 SIBR 的代码仓库下载源代码后，使用 CMake 配置项目，并在 Visual Studio 中编译。最终的可执行文件将被放入安装目录中。

3. 数据集处理：准备需要处理的图像数据集，SIBR 提供了相关工具将图像数据预处理为适合渲染的格式。常见的数据集包括 COLMAP 和 NeRF 合成数据集。

4. 运行渲染：使用预处理好的数据集，运行 SIBR 的渲染器来生成图像。你可以根据应用的需要调整渲染器的参数，比如渲染分辨率、视角等。

3D Gaussian Splatting 实验实例展示

1. 什么是 3D Gaussian Splatting (3DGS)？

3D Gaussian Splatting 是一种新型的渲染技术，通过使用高斯分布进行 3D 点云的稀疏表示，能够以极快的速度渲染复杂的三维场景。它的高效性和实时性使其成为实现高质量渲染的重要工具。3DGS 已被集成到 SIBR 中，允许用户快速处理和渲染高分辨率图像数据。

2. 实验运行环境

步骤：

1. 运行 3DGS 渲染：
   • 找到 3DGS官方仓库代码 ，按照markdown文件进行运行

   简要说明如何使用 3DGS 的两种渲染方式

• 第一种方式：在线查看点云数据

  1. 所需文件：一个 point_cloud.ply（点云文件）和一个 cameras.json（相机位姿文件）。
  2. 操作步骤：
     • 打开浏览器，访问 这个在线Gaussian Viewer。
     • 上传 point_cloud.ply 文件，浏览器会渲染出三维点云。
     • 上传 cameras.json 文件来调整相机视角，显示不同角度的点云场景。

• 第二种方式：使用 Windows Viewer 渲染

  1. 下载 Viewer：从 这个仓库 下载 Windows Viewer。

  2. 运行步骤：

     • 解压文件，打开命令行工具，进入 viewer/bin 文件夹。
       

     

     • 在bin所在目录下运行以下命令（这里需要替换为你的输出文件的路径）：

       .\SIBR_gaussianViewer_app.exe -m D:\myu\cv\output
       

     • 该命令将根据指定路径下的训练模型和点云数据渲染 3D 场景。

3. 实验结果渲染

在运行3DGS实验时，渲染器会根据不同视角下的图像数据合成高质量的 3D 场景。这种场景利用 3D 高斯分布对点云进行稀疏化处理，减少了内存开销，同时保持了高保真渲染效果。用户可以使用 SIBR 的优化器来调整渲染的分辨率、光照参数等，生成适合的渲染结果。

渲染实例：

• 利用 3DGS 技术渲染一个房间场景，生成的图像质量非常逼真，能够在不同视角下无缝展现室内物体的细节。
• 效果图：在渲染过程中，系统将逐渐优化图像，最终达到接近实时的效果，尤其在高分辨率场景中。
  
  
  

4. 界面与控制窗口解释

在 SIBR 的图形用户界面中，用户可以通过多个窗口进行相机和渲染设置。以下是常见窗口的详细解释：

• Camera Point View 窗口：用于控制相机的视角、路径和参数。你可以保存和加载相机视角，设置关键帧，调整相机的 FOV（视场角），并控制相机的运动速度和加速度。
  • Snap to closest：捕捉最近的物体，快速对准焦点。
  • FOV Y：控制垂直视场角，值越小，视角越窄。
  • Record 和 Play：记录相机路径并播放已记录的运动轨迹。
    
    
    你可以通过 Mode（模式选择） 来控制摄像机的操作。SIBR 支持多种相机模式，允许用户根据不同的需求进行调节。常见的模式有：

1. Trackball（轨迹球模式）：自由旋转相机，适合观察 3D 模型。最喜欢的模式，可以鼠标左键长按出来绿色的椭圆轨迹，然后可以自由切换视角

2. FPS（第一人称射击模式）：类似射击游戏的相机控制。

3. Orbit（轨道模式）：围绕目标旋转，适合展示物体。

4. Interp.（插值模式）：自动在多个关键帧之间平滑过渡和切换视角，适合展示过程中让相机移动更加流畅自然的场景。这个会自动移动视角。

5. None（无模式）：相机视角不响应用户输入，适合观察当前视角。

通过结合这些相机模式，你可以更灵活地操控相机，以适应不同的展示和渲染需求。

• 3D Gaussians 窗口：控制 3D Gaussian Splatting 的渲染参数。

  • Splats：控制高斯点云的数量和大小，影响渲染的细节度。
  • Render Mode：选择不同的渲染模式，比如全屏渲染、点云渲染等。
  • Fast Culling：启用后，加快渲染速度，自动裁剪不在视野范围内的物体。
    
    

• Metrics 窗口：显示当前渲染的性能指标，包括帧率（FPS）和每帧渲染时间。这个窗口有助于监控系统的性能，确保在高分辨率下保持流畅的渲染。
  
  87.35（帧率）：当前的渲染帧率为87.35帧每秒，显示渲染器的性能状况，帧率越高，图像的流畅度越好。
  (11.45 ms)：这是每一帧的渲染时间，当前为11.45毫秒，这意味着每一帧的渲染耗时11.45毫秒，时间越短说明系统性能越好。

5. 实验结果与性能

在一个简单的室内场景中，利用 3D Gaussian Splatting 渲染，可以在几秒钟内生成高质量的结果。根据具体硬件配置，帧率可以达到 60 FPS 以上，甚至更高。这使得 SIBR 的 3DGS 实验在实际应用中具有很高的效率和实用性，特别是对于需要实时响应的应用场景（如虚拟现实或游戏）。

结语

SIBR 是一个功能强大的基于图像的渲染系统，能够帮助开发者和研究人员在多种应用中生成高效且逼真的图像效果。通过使用真实图像进行渲染，它绕过了传统的几何建模挑战，使得复杂场景的可视化更加直观和快速。如果你在寻找一种高效的渲染方法，特别是用于虚拟现实、游戏开发或图像处理实验，SIBR 绝对是一个值得探索的工具。