当前位置: 首页 > article >正文

【笔记】Linux下编译Python3.10.15为动态库同时正确处理OpenSSL3依赖

之前自己第一次编译Python后发现pip会提示无法使用SSL,后来了解到是自己编译时没有配置OpenSSL。这个过程有点曲折,里面有一个坑,怕忘记于是写博客记录一下。

首先是下载OpenSSL,Python3.10.15支持此时最新版的OpenSSL 3.4.0,但是我建议下载3.0.2,过高版本openssl在运行时容易遇到动态库版本兼容性问题…

/usr/bin/openssl version

用这个命令查看系统中的openssl版本。不要省略/usr/bin,因为比如常用的conda环境会覆盖系统默认的OpenSSL。(嗯?你说系统里已经有openssl了,为啥还要下载源码自己编译,好问题…(好吧主要是我没找着系统里的openssl头文件在哪))

去github上找到源码,比如这是3.0.2版openssl的源码链接,看自己需要的版本

wget https://github.com/openssl/openssl/releases/download/openssl-3.0.2/openssl-3.0.2.tar.gz

然后解压出来,进入目录,配置:

./config -fPIC -shared --prefix=/home/hfcloud/Program/openssl-3.0.2/built-install

这里的配置注意把prefix设置为源代码文件下的built-install,不干扰系统中的openssl。注意替换为实际路径。然后就可以make和make install了

make -j16 && make install

等待完成,OpenSSL的头文件和库文件就会都在built-install这个文件夹内了,关键点来了,这里有一个巨坑,ls built-install文件夹,发现编译后OpenSSL的库文件夹名字为lib64,而不是lib,不知道从什么版本的OpenSSL开始名字变成lib64了,这会导致配置python时因为找不到OpenSSL的库文件而提示无法构建_ssl模块,

解决办法:
cd进入built-install文件夹后,创建一个软链接

ln -s lib64 lib

这样就解决了

接下来下载Python3.10.15的源代码

wget https://www.python.org/ftp/python/3.10.15/Python-3.10.15.tgz

解压并进入文件夹,进行配置:

./configure --enable-optimizations --enable-shared --with-openssl=/home/hfcloud/Program/openssl-3.0.2/built-install/ --with-openssl-rpath=auto

注意替换为自己的实际的路径

观察注意python的./configure的输出信息,应该有类似下面的输出:

checking for openssl/ssl.h in /home/hfcloud/Program/openssl-3.4.0/built-install/... yes
checking whether compiling and linking against OpenSSL works... yes
checking for --with-openssl-rpath... auto
checking whether OpenSSL provides required APIs... yes

检查头文件(yes),能够编译链接(yes),提供了需要的API(yes),这样才说明正确配置了OpenSSL依赖项目

然后就可以make构建python了,不必赘述。主要坑就是在编译后OpenSSL的库文件名字是lib64而不是lib,导致python始终找不到openssl库文件,坑掉了我2天时间。

此外,如果需要python交互式shell中tab自动补全,以及上下键查看命令历史的功能,需要系统中安装有readline和ncurses的SDK。例如在ubuntu22.04上,可以使用如下命令:

sudo apt-get install libreadline-dev libncurses-dev

注意,在make构建python过程中,在执行test之前有一个输出,类似这样:

The necessary bits to build these optional modules were not found:
_bz2                  _dbm                  _gdbm              
_sqlite3              _tkinter                                 

以及构建失败的模块的信息,可以在这里观察确认,OpenSSL是否真的构建成功。(当然build完了运行./python然后import _ssl也可以…)

其他问题

  1. 为什么要自己编译Python而不用预构建的版本
    一是为了精简,预构建的Python附带了一些额外的不必要的库(比如tcl/tk)。还有就是预构建的二进制文件可能依赖了低版本的基础库,或是用低版本gcc编译器编译。我们自行编译可以使用高版本编译器的代码优化,以及高版本libc等基础库带来的性能提升和漏洞补丁。
  2. 前面提到过高版本的OpenSSL的动态库版本兼容性问题是啥
    不知道为什么,哪怕是用patchelf指定了_ssl模块使用我们自己编译的3.4.10版本OpenSSL,import _ssl还是会报错说是系统里的libcrypto.so.3版本太低…无奈了,为了ubuntu22.04系统自带的openssl库兼容只好降版本到3.0.2了。

http://www.kler.cn/a/409718.html

相关文章:

  • 力扣--LCR 154.复杂链表的复制
  • CSS clamp() 函数:构建更智能的响应式设计
  • Vue——【路由】
  • C#构建一个简单的前馈神经网络
  • pytorch经典训练流程
  • CentOS7(Linux)详细安装教程(图文详解)
  • 搭建帮助中心,打造卓越的用户体验
  • 基于神经网络的流量异常检测
  • 【CSS】页面滚动到一定位置时,指定区域固定不变
  • Vue.js 组件开发实例分析
  • 基于基于DCT的数字水印算法
  • 【离散数学】特殊关系的矩阵表示
  • NLP论文速读(Apple出品)|迈向更好的多模态指令遵循能力评估
  • Vue.js --- Vue3中其他组合式API
  • 语言模型中的多模态链式推理
  • 【Linux】线程ID与互斥、同步(锁、条件变量)
  • 第4章 三个域对象
  • 深度解析:Vue 自定义指令到底是什么?快来了解
  • 鸿蒙面试题-某迈-2024年11月22日
  • 对于某些原型或UI软件的个人看法(2024/11)
  • 【Qt】控件LineEdit
  • MySql:库和表的操作
  • 在Kubernetes使用CronJob实现定时删除指定天数外的文件(我这里使用删除备份mysql数据库文件为例)
  • WPF——ICON按钮制作
  • Apache Spark
  • 【C++11】可变参数模板/新的类功能/lambda/包装器--C++