3D Gaussian Splatting 代码层理解之Part2
现在让我们来谈谈高斯分布。我们已经在Part1介绍了如何根据相机的位置获取 3D 点并将其转换为 2D。在本文中,我们将继续处理高斯泼溅的高斯部分,这里用到的是代码库 GitHub 中part2。
我们在这里要做的一个小改动是,我们将使用透视投影,它利用与上一篇文章中所示的内参矩阵有所不同。但是,在将点投影到 2D 时,两者是等效的,Part1 中介绍的第一种方法更容易理解,但是我们更改了方法,以便在 python 中尽可能多地复用作者的代码。具体来说,我们的内参矩阵现在将由此处显示的 OpenGL 投影矩阵给出,乘法顺序现在将为:
points @ external.transpose() @ internal.
透视投影内参矩阵,具体的参数将在下文中进行详细解释。
对于这个新的内参矩阵,r 和 l 是右侧和左侧的剪切平面,基本上是相对于照片宽度可以看到的点,t 和 b 是顶部top和底部bottom剪切平面。N 是近剪切平面(点将投影到的位置),f 是远剪切平面。有关更多信息,可以参考 The Perspective and Orthographic Projection Matrix)。这还会返回规范坐标(介于 -1 和 1 之间)中的点,然后我们将其投影到像素坐标。撇开题外话不谈,任务保持不变,以 3D 方式获取该点并投影到 2D 图像平面上。但是,在本教程的这一部分中,我们现在使用高斯分布而不是点。
def getIntinsicMatrix(
focal_x: torch.Tensor,
focal_y: torch.Tensor,
height: torch.Tensor,
width: torch.Tensor,
znear: torch.Tensor = torch.Tensor([100.0]),
zfar: torch.Tensor = torch.Tensor([0.001]),,
) -> torch.Tensor:
"""
Gets the internal perspective projection matrix
znear: near plane set by user
z