OpenCV相机标定与3D重建(1)概述

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

本节中的函数使用所谓的针孔相机模型。通过使用透视变换将场景中的3D点 $P_w$ 投影到图像平面上，从而获得场景的视图，形成相应的像素点 $p$ 和 $P_w$均用齐次坐标表示，即分别为3D和2D齐次向量。在本节引言的末尾，您将找到关于射影几何、齐次向量和齐次变换的简要介绍。为了更加简洁的符号表示，我们通常省略“齐次”一词，而直接说向量而不是齐次向量。

由针孔相机模型给出的无畸变的射影变换如下所示。
$$sp=A\left[\begin{array}{c}R|t\end{array}\right]P_w,$$
其中 $P_w$是相对于世界坐标系表示的3D点，p 是图像平面上的2D像素，A 是相机内参矩阵，R 和t 是描述从世界坐标系到相机坐标系（或相机框架）的坐标变化的旋转和平移，s 是射影变换的任意缩放因子，并不是相机模型的一部分。相机内参矩阵A（使用的符号如[314]中所述，也通常记作K）将给定在相机坐标系中的3D点投影到2D像素坐标，即：
$$p=A{P}_c.$$
相机内参矩阵 A 由以像素单位表示的焦距 $f_x$和$f_y$以及主点$(c_x,c_y)$组成，主点通常接近图像中心：
$$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$$
因此
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$$

内参矩阵不依赖于所观察的场景。因此，一旦估计出来，只要焦距固定（对于变焦镜头而言），就可以重复使用。因此，如果相机的图像按某个比例因子缩放，那么所有这些参数都需要按相同的比例因子进行缩放（相应地乘以或除以）。

联合旋转-平移矩阵$[R|t]$是射影变换和齐次变换的矩阵乘积。3x4 的射影变换将用相机坐标表示的3D点映射到图像平面上的2D点，并且这些2D点用归一化的相机坐标$x^{\prime }=X_c/Z_c$和$y^{\prime }=Y_c/Z_c$
$$Z_c\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$$
齐次变换由外参 $R$和$t$编码，表示从世界坐标系w到相机坐标系c的基底变换。因此，给定世界坐标中的点P
的表示$P_w$，我们可以通过
$$P_c=[R|0;t|1]P_w$$
这个齐次变换由 R，一个3x3的旋转矩阵，和t，一个3x1的平移向量组成：
$$[R|0;t|1]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]$$

因此，
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
结合射影变换和齐次变换，我们得到将世界坐标中的3D点映射到图像平面上2D点的射影变换，这些2D点用归一化的相机坐标表示：
其中,$x^{\prime }=X_c/Z_c$和$y^{\prime }=Y_c/Z_c$。将内参和外参的方程组合起来，我们可以写出$sp=A\left[\begin{array}{c}R|t\end{array}\right]P_w$如下：
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
如果$Z_c\ne 0$上面的变换等价于：
$$[u,v]=[f_x(X_c/Z_c)+c_x,f_y(Y_c/Z_c)+c_y]$$
其中
$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=[R|t]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$
下面的图示展示了针孔相机模型。

$$[u,v]=[f_x{x}^{\prime \prime }+c_x,f_y{y}^{\prime \prime }+c_y]$$
其中
$$\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\end{array}\right]=\left[\begin{array}{c}\frac{x^{\prime }}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}+(1+k_4{r}^2+k_5{r}^4+k_6{r}^6)(2p_1{x}^{\prime }{y}^{\prime }+p_2(r^2+2x^{\prime 2})+s_1{r}^2+s_2{r}^4)\\ \frac{y^{\prime }}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}+(1+k_4{r}^2+k_5{r}^4+k_6{r}^6)(p_1(r^2+2y^{\prime 2})+2p_2{x}^{\prime }{y}^{\prime }+s_3{r}^2+s_4{r}^4)\end{array}\right]$$
这里
$$r^2=x^{\prime 2}+y^{\prime 2}$$
并且
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\end{array}\right],$$
如果$Z_c\ne 0$
畸变参数包括径向系数 $k1,k2,k3,k4,k5,k6$,切向畸变系数 $p1$和$p2$以及薄棱镜畸变系数$s_1,s2,s3,s4$OpenCV 中不考虑更高阶的系数。下图展示了两种常见的径向畸变类型：桶形畸变($1+k_1{r}^2+k_2{r}^4+k_3{r}^6$单调递减)和枕形畸变（$1+k_1{r}^2+k_2{r}^4+k_3{r}^6$单调递增)对于实际的镜头，径向畸变总是单调的，如果估计结果是非单调的，应视为标定失败。更一般地说，径向畸变必须是单调的，且畸变函数必须是双射的。一个失败的估计结果可能在图像中心附近看起来很好，但在 AR/SFM 等应用中表现不佳。OpenCV 相机标定中使用的优化方法不包括这些约束，因为框架不支持所需的整数规划和多项式不等式。有关更多信息，请参见 issue #15992。

在某些情况下，为了聚焦相机前的倾斜平面（Scheimpflug 原理），图像传感器可能会倾斜。这对于粒子图像测速 (PIV) 或使用激光扇进行三角测量非常有用。这种倾斜会导致 $x\prime \prime$和$y\prime \prime$的透视畸变。这种畸变可以用以下方式建模，参见例如 [167]。
$$[u,v]=[f_x{x}^{\prime \prime \prime }+c_x,f_y{y}^{\prime \prime \prime }+c_y],$$
其中

$$s\left[\begin{array}{c}{x}^{\prime \prime \prime }\\ y^{\prime \prime \prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{R}_{33}({\tau }_x,{\tau }_y)& 0& 0\\ 0& R_{33}({\tau }_x,{\tau }_y)& 0\\ -R_{13}({\tau }_x,{\tau }_y)& -R_{23}({\tau }_x,{\tau }_y)& 1\end{array}\right]R({\tau }_x,{\tau }_y)\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\\ 1\end{array}\right]$$
矩阵$R({\tau }_x,{\tau }_y)$由两个分别具有角度参数 ${\tau }_x$和${\tau }_y$的旋转定义：
$$R({\tau }_x,{\tau }_y)=\left[\begin{array}{ccc}\cos ({\tau }_y)& 0& \sin ({\tau }_y)\\ 0& 1& 0\\ -\sin ({\tau }_y)& 0& \cos ({\tau }_y)\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos ({\tau }_x)& -\sin ({\tau }_x)\\ 0& \sin ({\tau }_x)& \cos ({\tau }_x)\end{array}\right]=\left[\begin{array}{ccc}\cos ({\tau }_y)& 0& \sin ({\tau }_y)\\ \sin ({\tau }_y)\sin ({\tau }_x)& \cos ({\tau }_x)& -\cos ({\tau }_y)\sin ({\tau }_x)\\ -\sin ({\tau }_y)\cos ({\tau }_x)& \sin ({\tau }_x)& \cos ({\tau }_y)\cos ({\tau }_x)\end{array}\right].$$

在以下函数中，系数作为向量传递或返回：
$$(k_1,k_2,p_1,p_2[,k_3[,k_4,k_5,k_6[,s_1,s_2,s_3,s_4[,{\tau }_x,{\tau }_y]]]])$$
即，如果向量包含四个元素，则意味着 $k_3=0$。畸变系数不依赖于所观察的场景。因此，它们也属于相机的内部参数，并且与捕获的图像分辨率无关。例如，如果一个相机已经在 320 x 240 分辨率的图像上进行了标定，那么相同的畸变系数也可以用于同一相机拍摄的 640 x 480 图像，而 $f_x$,$f_y$,$c_x$,$c_y$需要适当缩放。
以下函数使用上述模型执行以下操作：

• 将 3D 点投影到图像平面上，给定内部和外部参数。
• 给定内部参数、几个 3D 点及其投影，计算外部参数。
• 从已知标定图案的多个视图中估计相机的内部和外部参数（每个视图由多个 3D-2D 点对应关系描述）。
• 估计立体相机“头部”的相对位置和方向，并计算使相机光轴平行的校正变换。

齐次坐标
齐次坐标是一种在射影几何中使用的坐标系统。它们的使用允许用有限坐标表示无穷远点，并且与笛卡尔坐标相比简化了公式，例如，它们的优点是可以将仿射变换表示为线性齐次变换。
通过在 n 维笛卡尔向量 P 的末尾附加一个 1，可以得到齐次向量 $P_h$，例如，对于一个 3D 笛卡尔向量，映射
$P\to P_h$为：
$$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\to \left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right].$$
对于逆映射 $P_h\to P$，将齐次向量的所有元素除以其最后一个元素，例如，对于一个 3D 齐次向量，其 2D 笛卡尔对应物为：
$$\left[\begin{array}{c}X\\ Y\\ W\end{array}\right]\to \left[\begin{array}{c}X/W\\ Y/W\end{array}\right],$$
如果$W\ne 0$
由于这种映射，齐次点的所有倍数 $k{P}_h$h(其中$k\ne 0$)表示同一个点 。这一属性的直观理解是，在射影变换下，所有 $P_h$的倍数都被映射到同一点。这是针孔相机的物理观察结果，因为沿相机针孔的光线上的所有点都被投影到同一个图像点，例如，上述针孔相机模型图像中的红色光线上的所有点都会被映射到同一个图像坐标。这一属性也是针孔相机模型方程中的尺度模糊s的来源。

如前所述，通过使用齐次坐标，我们可以将由 $R$和$t$参数化的任何基底变换表示为线性变换，例如，从坐标系 0 到坐标系 1 的基底变换可以表示为：
$$P_1=R{P}_0+t\to P_{h1}=[R|0;t|1]P_{h0}.$$

注意事项
本模块中的许多函数都将相机内部矩阵作为输入参数。尽管所有函数假设该参数具有相同的结构，但它们可能使用不同的名称。然而，参数的描述将是明确的，即需要一个具有上述结构的相机内部矩阵。

标定示例

• 3 个水平排列的相机的标定示例可以在 opencv_source_code/samples/cpp/3calibration.cpp 中找到。
• 基于图像序列的标定示例可以在 opencv_source_code/samples/cpp/calibration.cpp 中找到。
• 用于 3D 重建的标定示例可以在 opencv_source_code/samples/cpp/build3dmodel.cpp 中找到。
• 立体相机标定的示例可以在 opencv_source_code/samples/cpp/stereo_calib.cpp 中找到。
• 立体匹配的标定示例可以在 opencv_source_code/samples/cpp/stereo_match.cpp 中找到。
• (Python）相机标定示例可以在 opencv_source_code/samples/python/calibrate.py 中找到。