嵌入式学深度学习:1、Pytorch框架搭建
嵌入式学深度学习:1、Pytorch框架搭建
- 1、介绍
- 2、Pytorch开发环境搭建
- 2.1、查看GPU是否支持CUDA
- 2.2、安装Miniconda
- 2.3、使用Conda安装pytorch
- 2.4、安装常用库
- 3、简单使用验证
1、介绍
-
深度学习是机器学习的一种,如下图:
目前深度学习应用场景较多.在嵌入式领域也经常会用到普通传感器无法检测、而用机器视觉能很方便完成的任务,比如流水线检测、无接触姿态检测等。
而传统的计算机视觉要求使用者掌握图像处理的基本知识,较为复杂,而采用深度学习的图像处理则要求较低。
且掌握了深度学习不仅只能做视觉,将不同的数据丢入深度学习会得到不同的东西,比如将语音数据丢给深度学习就得到了语音识别,将文本数据丢给深度学习就得到了自然语言处理。
因此,嵌入式工程师如果能掌握深度学习的应用方法,无疑会给自己的项目研发带来很大便利。
目前深度学习一些基本步骤都已经被封装的很好了,我们应用时只需要简单的调用框架中的各个模块来组合成各种网络结构即可。
目前常见的框架有TensorFlow和Pytorch,二者综合对比如下:
因此,这里选用PyTorch进行学习。深度学习离不开数据,常用的数据库以下链接有介绍:
深度学习常见数据库
这里选用CIFAR-10 & CIFAR-100进行学习。
2、Pytorch开发环境搭建
整体搭建教程见如下链接:
-
pytorch视频安装教程
-
pytorch安装教程
-
pytorch安装教程
2.1、查看GPU是否支持CUDA
-
深度学习在训练模型时比较耗时间,但训练好之后应用时就对算力要求不高。因此在训练模型时我们通过显卡来加速训练。
因此我们的显卡需要支持cuda,否则只能搭建cpu版本的Pytorch
CUDA支持显卡查询
进入以上链接进行查询: -
也可以用本地的nvida控制面板进行查询,如下图:
2.2、安装Miniconda
-
Miniconda为我们提供了包管理功能,类似于PIP,能大为简化我们的安装过程。
这里安装Miniconda就够用了,它只包含了Conda和python,不需要安装完整功能的Anaconda。以下是conda的官网:
conda官网 -
由于我们pytorch支持的python不同,windows下面pytorch只支持python3.7-3.9,因此我们需要选择与之匹配的python版本的miniconda,这里选择3.8。
-
下载好之后,一路默认配置agree即可:
默认安装路径在:
C:\Users\WCC\miniconda3
2.3、使用Conda安装pytorch
-
Conda为我们提供了包管理功能,我们打开Pytorch官网:
Pytorch官网
如下是选择版本的界面:
-
现在最新版本的已经是Pytorch2.0了。在Compute Platform这一栏,显示有CUDA和CPU。
其中CUDA是运行在GPU上的,而CPU版本是纯CPU版本的。
因为不同显卡算力不同,支持的CUDA版本也不同,所以需要看自己的显卡支持的CUDA版本,如下:
-
这里我的显卡最高支持CUDA 11.5,因此,不能安装最新版本的Pytorch 2.0,只能安装支持CUDA 11.5的Pytorch。
-
没有恰好CUDA11.5的,因此只能更改自己电脑的CUDA版本,选择将电脑的CUDA11.5降低为CUDA11.3。
在以下网址选择CUDA版本:
CUDA版本这里选择CUDA 11.3.0
然后进行下载:
-
下载完后双击安装包即可完成安装。
安装完成之后,在命令行界面输入:
nvcc -V
出现这个界面,说明已经完成CUDA的安装。 -
有了CUDA之后,还需要安装用于加速计算的库cuDNN
cuDNN库
点击上述链接后如下图,单击下载按钮: -
由于我们的CUDA版本是11.3,因此这里我们需要选择相匹配的cuDNN
大约700MB大小。 -
下载完成后,将压缩包里面的bin、include、lib三个文件夹覆盖掉原本CUDA安装路径下的文件夹:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3
-
下面我们打开Miniconda的命令行界面:
如下,可以查看conda的版本,即可测试Conda安装成功。就可使用Conda来安装Pytorch了。
-
由于我们的显卡最高支持CUDA11.5,因此我们只能选择Pytorch1.12.1,其使用的CUDA是11.3。
-
我们将命令行复制到CONDA里面:注意这里要关闭科学上网工具
选择YES
下面就开始下载了。
-
下载全部完成后耐心等待其完成解压缩和安装。直到最后所用的命令行都被清除掉,如下:
输入命令行:conda list
会显示出所有conda下面安装的东西,如下:
这个界面说明Pytorch安装成功。可以用python环境测试是否能import pytorch
出现True说明安装成功,已经可以使用了。
2.4、安装常用库
接下来安装常用的一些依赖库:
- 在conda中执行以下命令:
pip install pandas matplotlib notebook
3、简单使用验证
-
由于我们安装了notebook,因此我们可以直接在浏览器中写代码。
打开Miniconda的命令行,输入:
jupyter notebook
-
会自动的用默认浏览器打开一个页面:
-
然后新建一个python3脚本,如下
-
输入代码:
-
每一行输入代码之后可以点击运行,看到运行结果。
点击quit退出。 -
以下链接提供了一些测试代码,可以进行测试
测试Pytorch的程序