当前位置: 首页 > article >正文

Python库安装报错解决思路以及机器学习环境配置详细方案

文章目录

    • 概要
    • 第三方库
      • gdal
      • pymol
      • talib
      • mahotas
      • graphviz
      • nltk-data
      • lazypredict
      • scikit-surprise
      • nb_extensions
      • pyqt5-tools
      • spacy、en_core_web_sm
    • 机器学习
      • GPU-torch安装
      • torch_geometric安装
      • ubuntu安装显卡驱动
      • dlib安装
      • torch-cluster、torch-scatter、torch-sparse和torch-geometric
      • YOLO
      • apex
      • tensorflow-gpu
      • paddle 3060
      • tf和keras版本对应
    • Python && Pycharm
    • conda && jupyter
      • conda打包环境
      • jupyter切换虚拟环境
      • ubuntu-conda
      • jupyter切换默认浏览器
      • VsCode 终端激活 anconda 环境问题解决措施
      • conda环境迁移及终端唤醒
    • ERRor(持续更新)
      • 安装过程遇到dll文件缺失,如python36.dll
      • lda UnicodeEncodeError: 'ascii' codec can't encode characters in position 18-20: ordinal not in range(128)
      • ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory
      • graphviz中文乱码
    • Others
      • Mac M芯片安装py3.7
      • selenium配置
      • pyinstaller

概要

现在是一个人走,也要走得很远

在闲鱼小店的经营过程中,遇到了各种千奇百怪的问题,当然也认识了好多好多优秀的人,特别几位重要的人,很幸福的一件事。
记录了疑难杂症的解决过程,希望对后续学习Python的同学们有所帮助,谨以此篇留作纪念。
在这里插入图片描述
在这里插入图片描述

第三方库

也是一些常见的库
在这里插入图片描述

gdal

这里遇到的多数问题为:ModuleNotFoundError: No module named ‘gdal‘
我们得先解决安装问题,一般思路先考虑是否有whl文件可以直接安装
gdal 的whl文件合集,范围为cp38-cp312

https://wwt.lanzout.com/b05ex0bfe

密码:brkw

好了,安装好后,初学者仍然会发现import gdal失败
其实正确的导入使用方式为

from osgeo import gdal

详情可见
ModuleNotFoundError: No module named ‘gdal‘

pymol

whl仓库

talib

whl仓库

mahotas

这个库比较刁钻,我测试了多篇文章后才成功
上链接
mahotas安装教程

graphviz

这也是一个安装频率很高的库,但要正常使用的话
除了使用pip安装库之外,windows电脑上还得单独安装graphviz这个软件
详细的步骤见
Graphviz安装配置教程(图文详解)

切记安装的时候要记得添加系统环境变量!!!
安装好后,如果没有重启电脑或者jupyter内核,大概率还是会遇到问题

You’ must : install pydot ( pip install pydot^ ) and install graphviz
(see instructions at https: //graphviz. gitlab. io/ dowmload/) for
plot_ mod el/model_to dot to work.

这时候如果为了保存电脑工作流,不想重启的话
不妨试一下以下两种办法
1.conda重新安装
You must pip install pydot and install graphviz
2.添加graphviz执行路径
在这里插入图片描述

nltk-data

这个语料库的安装刚开始也是令人头疼
不过你了解流程之后,其实很简单的!
语料库网址:
https://www.nltk.org/nltk_data/
遇到的情况诸如
nltk.download(‘punkt‘)报错
nltk.download(‘punkt‘)报错问题解决方案

lazypredict

好好好,这个库我折腾了很久
最好解决方案为修改源码
【环境配置】Lazypredict的安装使用
from lazypredict.Supervised import LazyClassifier - TypeError: OneHotEncoder.init() got an unexpected keyword argument ‘sparse’ #442
报错解决链接

scikit-surprise

针对windows安装经常遇到的报错
Windows安装scikit-surprise

nb_extensions

这个jupyter中的插件,其实我自己用的不多
不过可以不用,不能没有对吧(bushi
好,来看一下怎么安装不踩坑,顺便吐槽很多文章很不靠谱
下面这篇文章是我亲自认证好用的
安装Nbextensions和推荐功能,解决安装完不显示内容、功能为灰色的问题

pyqt5-tools

主要解决对高版本python无法使用的问题
在不同版本Python中安装PyQT5及PyQT5-Tools

spacy、en_core_web_sm

【自然语言处理系列】手动安装和测试Spacy中en_core_web_sm模型的详细教程

机器学习

这部分的安装,才是好多人灰心的地方,AI的问法很重要,更关键是有自己的经验和判断力
在这里插入图片描述

GPU-torch安装

对于很多研究生、博士生来说,这里可以算是梦启航的地方了
安装错误主要在于一直安装为cpu版本的torch
默认的国内镜像是cpu版本
这里介绍一种环境安装教程
3.8 CUDA10.2 安装
pytorch gpu版安装(普适稳妥,亲测有效)

官网一键指令如

pip install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

还有如何给自己的电脑显卡还有python版本安装合适的torch
Python与PyTorch的版本对应
Torch 、torchvision 、Python 版本对应关系以及安装 GPU 或 CPU 版本的 pytorch
包括cuda安装卸载
【GPU调用及CUDA安装 看完全会!】使用gpu进行各类训练/运行代码

windows下CUDA的卸载以及安装
Tips:

为了确保gpu高效率运行,最好安装和nvidia-smi相差不是很大的版本吧,

torch_geometric安装

pytorch正确的安装torch_geometric,无bug、多种类版本

ubuntu安装显卡驱动

ubuntu系统安装nvidia显卡驱动(简单方法)

dlib安装

这个安装也是蛮常见的
python3.7-3.11版本whl文件快速直接安装dlib库(无需安装cmake!!!)手把手教你安装

Windows-安装dlib库(亲测绝对可以,超详细)

torch-cluster、torch-scatter、torch-sparse和torch-geometric

重要的也是whl文件
python安装torch-cluster、torch-scatter、torch-sparse和torch-geometric

YOLO

YOLOv5
【深度学习】YOLOV5-WIN10环境搭建(配置+训练
YOLOv8
YOLOv8入门篇–YOLOv8的安装和使用
【YOLO】YOLOv8训练环境配置 python 3.8.18 + cuda 11.3.1 + cudnn 8.2.1 + pytorch 1.12.1-gpu版

apex

RuntimeError: apex.optimizers.FusedSGD requires cuda extension

【问题解决】RuntimeError: apex.optimizers.FusedSGD requires cuda extension 问题解决

tensorflow-gpu

Tensorflow-gpu保姆级安装教程(Win11, Anaconda3,Python3.9)

paddle 3060

官方安装指南

3060显卡下CUDA+CUDNN+Paddle安装的血泪史

第五步:RTX 3060配置CUDA和cuDNN、安装PyTorch

tf和keras版本对应

tf的2.16.1的版本对应keras的3.0.0版本

导入库的时候,就直接from keras.models什么的,不用from tensorflow.keras.modesl这样导入

深度学习 | 基于 CPU 的 tensorflow + keras + python 版本对照及环境安装_python tensorflow 和keras版本-CSDN博客

因为tensorflow 2.0版本开始集成了keras,成为了 tensorflow.keras API,因此不用额外安装,并且无需 import keras

Python && Pycharm

入门,挺简单的了
在这里插入图片描述

Python官方各版本下载地址:

https://www.python.org/ftp/python/

国内华为镜像:

https://mirrors.huaweicloud.com/python/

https://repo.huaweicloud.com/python/

  1. 清华大学开源软件镜像站: https://mirrors.tuna.tsinghua.edu.cn/
  2. 阿里云开源镜像站: https://mirrors.aliyun.com/
  3. 中国科学技术大学镜像站: https://mirrors.ustc.edu.cn/
  4. 华中科技大学镜像站: https://mirrors.hust.edu.cn/

在这里插入图片描述

conda && jupyter

小技巧多

在这里插入图片描述

conda打包环境

conda-pack库

打包conda环境的两种方法:conda env export和Conda-Pack-CSDN博客

使用conda pack进行环境迁移(步骤很详细)-CSDN博客

jupyter切换虚拟环境

Jupyter notebok 环境配置,与kernel切换(切换虚拟环境)

3.2,在环境中手动安装你的kernel,因为在第二步中我们已经在创造的环境中安装了ipykernel了,所以,我们直接在环境里执行下面的代码来手动添加kernel进jupyter notebook

python -m ipykernel install --user --name py27 --display-name "Python (py27)"

这里,第一个py27 是我创造的环境的名称,后面的Python (py27)是我希望在jupyter notebook中kernel显示的名字。

查看安装的内核和位置

jupyter kernelspec list

删除 kernel

jupyter kernelspec remove tensorflow

ubuntu-conda

Ubuntu 安装 conda

Ubuntu20.04安装配置tensorflow2深度学习环境_ubuntu20安装tensorflow2-CSDN博客

jupyter切换默认浏览器

更改Jupyter Notebook打开的默认浏览器(切换到Edge为例)_如何更改jupyter notebook打开的浏览器-CSDN博客

VsCode 终端激活 anconda 环境问题解决措施

VsCode 终端激活 anconda 环境问题解决措施

conda环境迁移及终端唤醒

操作后可关闭pycharm再打开

在这里插入图片描述

【保姆级教程】Anaconda环境迁移:直接将之前搭建好的环境从一个机子迁移到另一个机子

conda config --append envs_dirs

ERRor(持续更新)

这个比较多了,持续更新好了

在这里插入图片描述

安装过程遇到dll文件缺失,如python36.dll

python36.dll 搜索结果 | DLL‑files.com

lda UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 18-20: ordinal not in range(128)

LDA 中用pyLDAvis可视化出现的编码问题求救?????????????_有问必答-CSDN问答

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

ImportError: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory

graphviz中文乱码

win10的python的graphviz中文乱码问题解决

Others

比较mix
在这里插入图片描述

Mac M芯片安装py3.7

https://arrebol2020.com/posts/m1-mac-conda/#:~:text=是因为 对于 M1 芯片的 Macos,不支持 python3.8 一下的 python,x86_64 架构的 channel conda install python%3D3.7 :安装 ptyhon3.7

在这里插入图片描述

selenium配置

前3位相同就行

Chrome历史版本下载和Selenium驱动版本下载_selenium谷歌浏览器旧版本下载-CSDN博客

chromedriver.storage.googleapis.com

Download older versions of Google Chrome for Windows, Linux and Mac

解决selenium打开浏览器自动退出_selenium打开网页闪退-CSDN博客

from selenium import webdriver
driver = webdriver.Chrome()
driver.get(‘https://www.baidu.com’)

pyinstaller

python2.7 py文件转化成exe文件(不安装python也可以运行py文件)_python27 pyinstaller-CSDN博客

在这里插入图片描述

pyinstaller --onefile --paths=/path/to/your/directory xxx.py


http://www.kler.cn/a/588812.html

相关文章:

  • Nacos命名空间Namespace:微服务多环境管理的“秘密武器”如何用?
  • Flutter中的const和final的区别
  • k8s集群----helm部署wordpress
  • chatgpt的一些prompt技巧
  • 【人工智能基础2】机器学习、深度学习总结
  • 2、操作系统之软件基础
  • VSCode 自动格式化:ESLint 与 Prettier
  • 5G时代新基建:边缘节点如何将云计算响应速度提升300%“
  • Element Plus开发实战指南:快速上手Vue 3企业级组件库
  • 使用kubeadm方式以及使用第三方工具sealos搭建K8S集群
  • 【Quest开发】手柄交互震动
  • libcurl 进行良好包装的项目
  • 华为hcia——Datacom实验指南——TCP传输原理和数据段格式
  • 在 Ubuntu 服务器上使用宝塔面板搭建博客
  • Three.js 阴影 (Shadow) 知识点整理
  • Node.js 与 MongoDB:高效的企业级应用开发
  • 如何使用IDEA Maven构建本地jar包和POM文件?
  • 【C++多线程】thread
  • SpringBoot动态加载JAR包实战:实现插件化架构的终极指南
  • 全球领先的光学方案设计公司:倚光科技