论文阅读笔记——MTGS: Multi-Traversal Gaussian Splatting

MTGS 论文

MTGS（Multi-Traversal Gaussian Splatting） 是一种用于多轨迹驾驶场景重建的新方法，通过共享静态几何、轨迹特定的动态节点和外观节点，分别建模静态背景、动态物体和外观变化。该方法利用 LiDAR 引导的曝光对齐和可学习的仿射变换解决轨迹内外观一致性问题，并通过深度和法线正则化提升几何精度和渲染质量。实验表明，MTGS 在 nuPlan 数据集上显著优于单轨迹基线方法，为自动驾驶模拟器和数字孪生应用提供了高质量的场景重建和新视角合成能力。

多轨迹数据（同一道路区块但不同时间采集的视频），具有同一个共享空间，对于静态空间 3D 几何是不变的，但对于时间、天气等场景动态是不一样的，无法运用插值等简单重建方法。

输入：

• 同一道路不同时间采集的视频帧集合： I = { I t , T ∈ R w × h × 3 ∣ t = 0 , … … , t T ; T = 1 , … … , T a l l } I=\{I_{t,T}\in R^{w×h×3}|t=0,……,t_T;T=1,……,T_{all}\} I={It,T​∈Rw×h×3∣t=0,……,tT​;T=1,……,Tall​} 其中，t 表示时间帧索引，T 表示轨迹索引；每帧图像都有对应的相机位姿 ζ t , T = { W t , T , K t , T } \zeta_{t,T}=\{W_{t,T},K_{t,T}\} ζt,T​={Wt,T​,Kt,T​} 世界坐标系到相机坐标系的变换矩阵和相机内参矩阵
• 彩色 LiDAR 点云 $P_{t,T}\in R^{K\times 6}$

整个场景被表述为基于 3DGS 的多轨迹场景图：（思路类似于颜色都可以由红绿蓝给出）

• ${\mathcal{G}}_{static}$ ——背景几何；轨迹和时间不变的属性 { x i , q i , s i , α i , β i b a s e } \{x_i,q_i,s_i,\alpha_i,\beta_i^{base}\} {xi​,qi​,si​,αi​,βibase​} （位置，旋转，缩放，透明度，基础球谐系数）。
• ${\mathcal{G}}_T^{appr}$——轨迹 T 的外观变化；提供 T 轨迹的颜色残差（捕捉外观变化、光照、反射、色调等）以此来定义该轨迹的球谐系数 ${\beta }_{i,0,0}={\beta }_i^{base}{\beta }_{i,l,m}={\beta }_{i,T}^{residual}(-l\le m\le l,1\le l\le l_{max})$ 通过旋转不变球谐系数$(SH)Y_{0,0}$，迫使模型学习自然颜色并捕捉跨轨迹颜色变化。
• ${\mathcal{G}}_{T,k}^{tsnt}$——轨迹 T 中第 k 个瞬态物体。对于瞬态节点中的高斯，其位置和旋转都是在局部坐标系中，将其转换至全局坐标系（几何），同时为防止浮影，增加约束（离原来的地方太远）：$$\begin{array}{r}{\mathbf{x}}_i^{\mathbf{world}}(t)={\mathbf{R}}_{T,k}(t){\mathbf{x}}_i+{\mathbf{T}}_{T,k}(t)\\ {\mathbf{q}}_i^{\mathbf{world}}(t)=\mathrm{RotToQuat}({\mathbf{R}}_{T,k}(t)){\mathbf{q}}_i\\ {\mathcal{L}}_{\mathrm{oob}}=-\frac{1}{|{\mathcal{G}}_{T,k}^{\mathrm{oob}}|}\sum _{G_i\in {\mathcal{G}}_{k,T}^{\mathrm{oob}}}\log \left(1-{\alpha }_i\right)\end{array}$$其中 ${\mathcal{G}}_{T,k}^{oob}$ 是局部坐标系中距离远点超过 $\frac{1}{2}{S}_{tsnt}^{T,k}+{\theta }_{tol}$ 的高斯集合，${\theta }_{tol}$ 是容错阈值，确保前景的阴影在瞬态节点中。

外观建模：

• 同一时间点不同相机的曝光——将 LiDAR 点投影到不同相机图像中，调整曝光，使同一 LiDAR 点的像素颜色一致。$${\mathcal{L}}_{depth}=|\frac{1}{d_{pred}}-\frac{1}{d_{LiDAR}}|$$同时为了解决稀疏点云导致的过拟合和不连续性：$$L_{\mathrm{ncc}}=1-\frac{1}{|\Omega |}\sum _{p\in \Omega }\sum _{s=1}^{S^2}\frac{D_{p,s}{D}_{p,s}}{{\sigma }_p{\sigma }_p}$$
• 同一相机不同时间曝光——通过可学习的仿射变换 $Aff(\cdot )=W_{idx}I+b_{idx}$ 。

在 3D 高斯中，法线方向是尤为重要的，将其定义为高斯椭球的最小缩放轴方向：

高斯法线提供了基础的几何信息，而像素法线估计补充了细节信息并提升了渲染质量。两者共同协作，确保了几何一致性、细节表现和光照效果。

$${\hat{n}}_{i,p}=\mathbf{R}\cdot OneHot(argmin(s_{i,0},s_{i,1},s_{i,2}))$$

• 高斯法线通过 扁平化正则损失 稳定： L f l a t t e n = ∑ i m a x { m a x ( s i ) m e d i a n ( s i ) , r } − r + m i n ( s i ) \mathcal{L}_{flatten}=\sum_imax\{\frac{max(s_i)}{median(s_i)},r\}-r+min(s_i) Lflatten​=i∑​max{median(si​)max(si​)​,r}−r+min(si​)
• 高斯法线由于其离散型以及其概率密度的性质（在边缘处无法准确反应几何表面的快速变化），故而对于物体而言更需要像素法线——通过变换矩阵和 $\alpha$ 合成方法得到像素法线 $\hat{N}$，同时对点云投影到相机的伪深度图估计法线 $N$，并用 TV 损失平滑估计法线：$${\mathcal{L}}_{normal}=|\hat{N}-N|+{\mathcal{L}}_{TV}(\hat{N})$$

最终的损失函数：
$$\mathcal{L}={\lambda }_r{\mathcal{L}}_1+(1-{\lambda }_r){\mathcal{L}}_{\mathcal{SS}\mathcal{I}\mathcal{M}}+{\lambda }_{depth}{\mathcal{L}}_{depth}+{\lambda }_{ncc}{\mathcal{L}}_{ncc}+{\lambda }_{normal}{\mathcal{L}}_{normal}+{\lambda }_{flatten}{\mathcal{L}}_{flatten}+{\lambda }_{oob}{\mathcal{L}}_{oob}$$

实验结果