OpenCV相机标定与3D重建(35)计算两幅图像之间本质矩阵（Essential Matrix）的函数findEssentialMat()的使用

• 操作系统：ubuntu22.04
• OpenCV版本：OpenCV4.9
• IDE:Visual Studio Code
• 编程语言：C++11

算法描述

从两幅图像中的对应点计算本质矩阵。
cv::findEssentialMat 是 OpenCV 库中用于计算两幅图像之间本质矩阵（Essential Matrix）的函数。本质矩阵描述了两个校准过的摄像机之间的相对旋转和平移，它对于立体视觉、运动结构恢复（Structure from Motion, SfM）和视觉里程计（Visual Odometry）等计算机视觉任务非常重要。

函数原型1

Mat cv::findEssentialMat	
(
	InputArray 	points1,
	InputArray 	points2,
	InputArray 	cameraMatrix,
	int 	method = RANSAC,
	double 	prob = 0.999,
	double 	threshold = 1.0,
	int 	maxIters = 1000,
	OutputArray 	mask = noArray() 
)		

参数1

• 参数points1：来自第一幅图像的 N (N >= 5) 个2D点数组。点的坐标应该是浮点数（单精度或双精度）。
• 参数points2：第二幅图像的点数组，与 points1 具有相同的大小和格式。
• 参数cameraMatrix：相机内参矩阵$A=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$。注意，此函数假设 points1 和 points2 是来自具有相同内参矩阵的相机的特征点。如果这个假设在你的应用场景中不成立，可以使用 undistortPoints 函数，并为两个相机设置 P=cv::NoArray()，以将图像点转换为适用于单位内参矩阵的归一化图像坐标。当传递这些坐标时，对于此参数应传递单位矩阵。
• 参数method：计算本质矩阵的方法。
  • RANSAC：用于RANSAC算法。
  • LMEDS：用于最小中值法（LMedS）算法。
• 参数 prob：仅用于RANSAC或LMedS方法的参数。它指定了估计矩阵正确的期望置信水平（概率）。
• 参数threshold：仅用于RANSAC方法的参数。它是点到极线的最大距离（以像素为单位），超过该距离的点被认为是离群点，并不用于计算最终的本质矩阵。根据点定位的准确性、图像分辨率和图像噪声，它可以设置为1-3等。
• 参数mask：输出数组，包含N个元素，每个元素对于离群点设置为0，对于其他点设置为1。该数组仅在RANSAC和LMedS方法中计算。
• 参数maxIters：稳健方法的最大迭代次数。
  该函数基于五点算法求解器估算本质矩阵。[204] 中描述了该算法，[247] 也与此相关。极几何由以下方程描述：

$$[p_2;1{]}^T{K}^{-T}E{K}^{-1}[p_1;1]=0$$

其中E是本质矩阵，p1 和p2分别是第一幅和第二幅图像中的对应点。此函数的结果可以进一步传递给 decomposeEssentialMat 或 recoverPose 来恢复摄像机之间的相对位姿。

函数原型2

Mat cv::findEssentialMat	
(
	InputArray 	points1,
	InputArray 	points2,
	double 	focal = 1.0,
	Point2d 	pp = Point2d(0, 0),
	int 	method = RANSAC,
	double 	prob = 0.999,
	double 	threshold = 1.0,
	int 	maxIters = 1000,
	OutputArray 	mask = noArray() 
)		

参数2

• 参数points1：来自第一幅图像的 N (N >= 5) 个2D点数组。点的坐标应该是浮点数（单精度或双精度）。
• 参数points2：第二幅图像的点数组，与 points1 具有相同的大小和格式。
• 参数focal：相机的焦距。注意，此函数假设 points1 和 points2 是来自具有相同焦距和主点的相机的特征点。
• 参数pp：相机的主点。
• 参数method：计算基本矩阵的方法。
  • RANSAC：用于RANSAC算法。
  • LMEDS：用于最小中值法（LMedS）算法。
• 参数threshold：仅用于RANSAC方法的参数。它是点到极线的最大距离（以像素为单位），超过该距离的点被认为是离群点，并不用于计算最终的基本矩阵。根据点定位的准确性、图像分辨率和图像噪声，它可以设置为1-3等。
• 参数prob：仅用于RANSAC或LMedS方法的参数。它指定了估计矩阵正确的期望置信水平（概率）。
• 参数mask：输出数组，包含N个元素，每个元素对于离群点设置为0，对于其他点设置为1。该数组仅在RANSAC和LMedS方法中计算。
• 参数maxIters：稳健方法的最大迭代次数。
  说明

这个函数与上述函数的不同之处在于它通过焦距和主点来计算相机内参矩阵

$$A=\left[\begin{array}{ccc}f& 0& x_{pp}\\ 0& f& y_{pp}\\ 0& 0& 1\end{array}\right]$$

代码示例

#include <iostream>
#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;

int main( int argc, char** argv )
{
    // 创建虚拟的匹配点数据（假设我们有10对匹配点）
    vector< Point2f > points1 = { Point2f( 154.0f, 38.0f ),  Point2f( 285.0f, 176.0f ), Point2f( 279.0f, 238.0f ), Point2f( 276.0f, 284.0f ), Point2f( 273.0f, 342.0f ),
                                  Point2f( 267.0f, 397.0f ), Point2f( 262.0f, 446.0f ), Point2f( 254.0f, 495.0f ), Point2f( 246.0f, 545.0f ), Point2f( 234.0f, 592.0f ) };

    vector< Point2f > points2 = { Point2f( 149.0f, 49.0f ),  Point2f( 280.0f, 187.0f ), Point2f( 274.0f, 249.0f ), Point2f( 271.0f, 295.0f ), Point2f( 268.0f, 353.0f ),
                                  Point2f( 262.0f, 408.0f ), Point2f( 257.0f, 457.0f ), Point2f( 249.0f, 506.0f ), Point2f( 241.0f, 556.0f ), Point2f( 229.0f, 603.0f ) };

    // 相机内参矩阵 (示例值)
    Mat cameraMatrix = ( Mat_< double >( 3, 3 ) << 718.856, 0, 607.193, 0, 718.856, 185.216, 0, 0, 1 );

    // 定义输出的本质矩阵和掩码
    Mat essentialMatrix, mask;

    // 使用 RANSAC 方法计算本质矩阵
    essentialMatrix = findEssentialMat( points1, points2, cameraMatrix, RANSAC, 0.999, 1.0, 1000, mask );

    // 打印结果
    cout << "Essential Matrix:\n" << essentialMatrix << endl;

    // 打印哪些点被认为是内点
    cout << "Inliers mask:\n";
    for ( size_t i = 0; i < mask.total(); ++i )
    {
        if ( mask.at< uchar >( i ) )
        {
            cout << "Point " << i + 1 << " is an inlier." << endl;
        }
        else
        {
            cout << "Point " << i + 1 << " is an outlier." << endl;
        }
    }

    // 如果需要，可以进一步分解本质矩阵或恢复姿态
    // decomposeEssentialMat(essentialMatrix, R1, R2, t);
    // recoverPose(essentialMatrix, points1, points2, cameraMatrix, R, t, mask);

    return 0;
}

运行结果

Essential Matrix:
[3.552514976490105e-09, -2.34328248364459e-07, -0.6437262524331034;
 2.332007722595955e-07, -1.168059907413519e-10, -0.2926029947621791;
 0.6437262524341074, 0.2926029926567176, 3.212847006212214e-09]
Inliers mask:
Point 1 is an inlier.
Point 2 is an inlier.
Point 3 is an inlier.
Point 4 is an inlier.
Point 5 is an inlier.
Point 6 is an inlier.
Point 7 is an inlier.
Point 8 is an inlier.
Point 9 is an inlier.
Point 10 is an inlier.