当前位置：首页 > article >正文

论文阅读：EasySplat: View-Adaptive Learning makes 3D Gaussian Splatting Easy

article 2025/1/15 22:46:39

省流：

视图自适应分组策略，利用强大的点图先验构建成对点图，从而实现了点云和相机姿态的精确初始化。
基于KNN的自适应致密化策略，该策略根据每个高斯的相邻椭球体的形状差异动态触发致密化，从而实现了鲁棒的新视图合成。

1.视图自适应组初始化策略

由oneref方法构建的点图对得出的相机姿态是次优的，这可能会导致新颖视图合成的性能下降。

为了提高密集视图场景中的相机姿态性能并避免内存开销，我们提出了一种基于图像相似性的自适应分组策略来构建图像对。给定输入图像序列 $I=\{ I_1,I_2,...,I_n \}$ ，我们首先计算每对相邻图像之间的余弦相似度，以量化它们的相似度。余弦相似度定义为：

$\begin{aligned} \sin(I_i,I_{i+1}) & =\frac{I_i\cdot I_{i+1}}{\|I_i\|\|I_{i+1}\|}, \end{aligned}$

其中 $I_i \cdot I_{i+1}$ 表示图像 $I_i$ 和 $I_{i+1}$ 的点积， $|I_i|$ 和 $|I_{i+1}|$ 是它们各自的范数。接下来，我们计算相邻图像之间的相似性差异，并构建一个差异率数组 $\Delta$ ：

$\Delta_i=|\sin(I_i,I_{i+1})-\sin(I_{i+1},I_{i+2})|\quad i=1,2,\ldots,n-2,$

其中 $\Delta _i$ 表示图像 $I_i$ 和 $I_{i+1}$ 之间的相似度差异。然后，我们从差率数组 $\Delta$ 中选择 $k$ 个最大值，最后将图像序列 $I$ 划分为多个子序列 $I_1,I_2,\ldots,I_k,$ ，其中每个子序列代表一个组 $G$ 。在每个组 $G$ 内，将索引为0的视图分配为参考视图，组内的所有其他视图都与该参考视图匹配。这个过程生成一组图像对，记为方程式

$e=(i,j|i=G_p^0,j=G_p^q,p\in[0,k],q\in[1,t)),$

其中 $p$ 是组号， $G$ 是组集， $q$ 是非参考号， $i$ 和 $j$ 是点映射号。配对后，所有图像对都被输入到DUSt3R的预训练模型中，以获得每个图像对的成对点图 $X_{n,n}$ ， $X_{m,n}$ 及其关联的置信度图 $C_{n,n}$ $C_{m,n}$ ,对于每个图像对 $e \in E$ 。然后，如下公式所示进行全局优化以获得全局点云和相机姿态。

$\hat{J}^*=\arg\min_{\hat{J},P,\sigma}\sum_{e\in E}\sum_{v\in e}\sum_{i=1}^{HW}C_i^{v,e}\|\hat{J}_i^v-\sigma_eP_eX_i^{v,e}\|$

通过采用视图自适应分组配对策略，我们为后续的3DGS训练实现了更精确的全局点云和相机姿势。

2.基于KNN的致密化

每个3D高斯原语 $G_i(x)$ 由一个平均向量 $\mu _{3d_i}$ 和一个全3D协方差矩阵 $\sigma_{3d_i}$ 组成。高斯原语可以写成：

$G_i(x)=e^{-\frac{1}{2}(x-\mu_{3d_i})^T\Sigma_{3d_i}^{-1}(x-\mu_{3d_i})}$

随后，在训练期间，每100次迭代计算每个高斯原语 $G_i(x)$ 的平均视图空间位置梯度。如果梯度超过梯度阈值 $\tau _\rho$ 并且形状超过尺度阈值 $\tau_S$ ，则高斯 $G_i(x)$ 将进行拆分：

$\nabla_{\mu_i}L>\tau_p\quad\mathrm{and}\quad\Sigma_{3d_i}>\tau_S$

虽然ADC允许拆分后的高斯覆盖大部分场景，但一些大高斯倾向于抵制拆分。然而，我们在实际场景中的观察发现，高斯分布是不均匀的，较大的高斯往往出现在较小的高斯附近。受这一现象的启发，我们提出了一种基于K-最近邻（KNN）算法的自适应高斯椭球拆分策略。具体来说，对于每个高斯椭球 $G_i$ ，我们使用KNN算法来识别 $n$ 个最接近的相邻高斯 $G=\{G_{1},G_{2},\ldots,G_{n}\}$ ，然后计算这些邻居的平均形状 $\bar{\Sigma}_{3d}$ 。