C++加持让python程序插上翅膀——利用pybind11进行c++和python联合编程示例

0、前言

在当今的计算机视觉和机器学习领域，Python 和 C++ 是两种最常用的编程语言。Python 以其简单易学、高效编程和强大的科学计算库而闻名，而 C++ 则以其高效性和强大的计算能力而著称。然而，这两种语言各有优劣，因此将它们结合起来使用可以发挥它们的优点，同时弥补它们的缺点。在本文中，我们将介绍如何在 Windows VS 环境下使用 pybind11 进行 C++ 和 Python 联合编程示例，进行机器视觉和相机位姿优化相关的程序开发。我们将使用 Python 3.7 和 C++，并利用 numpy 数组格式接收 Python 侧的两幅图像，并利用 g2o 进行 BA 优化，最后将优化结果以 numpy 数组形式返回 Python。

1、安装 pybind11库

首先，我们需要安装 pybind11 库。pybind11 是一个用于将 C++ 代码绑定到 Python 解释器的库，它提供了一种简单的方法来创建 Python 模块，这些模块可以直接调用 C++ 代码。

c++侧

pybind11库是一个纯头文件的库，其实只要从github上下载源码，即可供使用。

git clone https://github.com/pybind/pybind11.git

python侧

python侧，可以进入conda虚拟环境，注意需要3.7版本的python，直接pip安装：

pip install pybind11

2、C++引入bybind11

安装 pybind11 库后，我们可以开始编写 C++ 代码。以g2o ba为例，我们将上篇博文中的c++代码进行稍加改造，开个python的调用“接口”即可：

vs增加相关依赖及设置

使用bybind11，需要将下载的头文件路径引入项目，同时，需要将python3.7的头文件路径及lib引入及链接进项目。
（1）头文件路径加入：

（2）python3.7的lib加入：

（3）生成动态库dll类型：

cpp中添加头文件及导出模块

在c++程序中去掉main函数，添加头文件，及导出模块设置：

如上两图，在常规c++文件中首位加入头文件和导出模块定义，我们这次导出的是ab这个函数，ab是将上篇博文的main函数改成的。

cpp中添加numpy相关数据结构的接收和返回

// 将Python中的图像传递给C++进行处理
py::array_t<double> ab(py::array_t<uint8_t> &imge1, py::array_t<uint8_t> &imge2){
    //创建全0 numpy数组
    py::array_t<double> output_array({3,4});
    auto buf = output_array.mutable_data();
    for (int i = 0; i < 3; i++) {
        for (int j = 0; j < 4; j++) {
            buf[i * 4 + j] = 0;
        }
    }
    // 将输入图像转换为OpenCV的Mat对象
    auto bufimg1 = imge1.request();
    auto bufimg2 = imge2.request();
    int type = CV_8UC3;
    int channels = 3;
    if (bufimg1.ndim == 3) {
        channels = bufimg1.shape[2];
        if (channels == 4) {
            type = CV_8UC4;
        }
    }
    //如果不是3或4通道则退出
    if (channels != 3 && channels != 4) {
        return output_array;
    }
    cv::Mat img1(bufimg1.shape[0], bufimg1.shape[1], type, bufimg1.ptr);
    cv::Mat img2(bufimg2.shape[0], bufimg2.shape[1], type, bufimg2.ptr);

如上，我们ab函数，可以接收来自python的图像numpy数组，并将图像转化为了cv::mat格式，交给c++后续处理。最后返回numpy形式的g2o优化后的位姿数组：

g2o::VertexSE3Expmap* v = dynamic_cast<g2o::VertexSE3Expmap*>(optimizer.vertex(1));
    Eigen::Isometry3d pose = v->estimate();
    // 获取输出数组的指针
    auto output_ptr = output_array.mutable_data();
    // 将isometry的旋转矩阵和平移向量存储在numpy数组中
    Eigen::Map<Eigen::Matrix<double, 3, 4, Eigen::RowMajor>> result_map(output_ptr);
    result_map.block<3, 3>(0, 0) = pose.rotation().matrix();
    result_map.block<3, 1>(0, 3) = pose.translation();
	return  output_array；

编译生成dll后改成导出模块同名文件的.pyd

将生成的dll改成g2opy.pyd

3、python调用c++

进入与c++依赖的同一个python环境，然后编辑简单的调用程序：

两帧图像送入c++，优化计算后返回输出：

本篇所有源码已上传，链接如下:
python实现C++程序g2o的ba优化模块调用，python侧的程序资源
本资源为python和C++联合编程的示例vs工程源码

4、C++引入bybind11

通过本文的示例，我们验证了如何在 Windows VS 环境下使用 pybind11 进行 C++ 和 Python 联合编程的可行性，可进一步进行机器视觉和相机位姿优化相关的程序开发。
有了C++的加持，python的机器人开发在性能上或者是解决方案上，又有了更多的可选项。可以发挥python的更大威力了，keep go on！