Docker+Anaconda+CUDA+cuDNN
一、导语
因为要复现文献的需求和实验室里师兄想要给我提升能力的多方面因素在一起,所以学习并实现了相关安装。在这里做一个记录,方便日后查看,如果能给其他同学带来便捷就更好了。
在这篇文章中,我的目标是搭建一个可以使用Pytorch的容器。
二、前置工作
首先要能够连接上服务器,不同实验室用的不一样,我们使用的是xshell和xftp,这里推荐一下,学习可以看B站视频。不同的实验室可能设置了局域网,这个需要各位自己去了解,我们是用的软件是EasyConnect。
我所在的实验室,师兄师姐们所用的服务器已经有了初步的配置,比如docker已经安装好了,好多镜像已经装好了,所以这里就不需要我再去安装了,但是需要我自己配置(因为只是给我分配了一个账户)。
首先需要学会一些基础的docker语法,这个在菜鸟教程就可以学会。当然了,如果希望学习原理,可以看这个B站的视频来学(不用全部学习,挑着学就可以)
三、搭建容器
1、查看镜像
首先使用docker images查看是否存在需要的镜像,存在即直接使用,否则需要去dockerhub官网去查找,然后下载。
docker images
看一下我的运行情况:
可以看到很多镜像,这些镜像就是一个又一个的模板。然后你可以使用这些模板创建自己的操作系统。
显然,我打算做人工智能的工作,进行深度学习的话,免不了用GPU,那么带英伟达驱动的镜像就很有必要了。当然了,再次感谢我的前辈们已经下载好了镜像,如果没有下载好镜像,一定要查看本机的显卡适配的cuda去找镜像下载!(这个教程很好找的,我自己笔记本配置GPU自学的时候就能在网上找到很多教程)
2、创建容器
所谓容器 ,就是根据模板(镜像)创建的一个操作系统,不同的容器之间互不干扰。
来看一下示例代码:
docker run --gpus all -d -p 0.0.0.0:10790:22 -it --name=karmadock -v /data/fuyp:/root nvidia/cuda /bin/bash
解释:
--gpus all 就表示使用主机所有的显卡
--name=加你想起的镜像名字
(-v表示一个挂载文件夹 主机和docker可以共享这个文件夹,主机的文件夹要自己创建,经过我多次试错,容器内的文件夹要对应的上你将来存文件的地方)
-v 冒号前写主机文件夹:冒号后写容器文件夹
-p 表示端口映射,不然容器里面和外面是隔绝的,无法在主机里面同步更新!
这一步在创建的时候不写,那么再修改就很麻烦!
-d 表示后台运行
-it 表示可以交互
看一下我的运行效果:
然后查看容器,确定其id及状态:
docker ps
3、进入容器
可以用docker attach+ 容器的id进入容器:
docker attach 30992b9cc43f
# 注意,这个方法进入容器后,再用exit退出容器后,容器会停止运行,
# 用其他方法则不会,详见菜鸟教程
# 如果退出后找不到自己的docker,使用docker ps -a可查看所有容器;
注意前面的名字了 有个@+容器id。
4、网络安装
进行基础的网络安装: ping config(依次运行下面的代码)
apt-get update
apt install net-tools # ifconfig
apt install iputils-ping # ping
完成下载!
现在进入我们自己的docker 看看各个文件夹,发现啥也没有!因为相当于我们自己的新电脑嘛。我们就要开始装anaconda3了 !
5、安装Anaconda
可以去conda官网找自己喜欢的安装包:https://repo.anaconda.com/archive/
我选的是https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
正式安装anaconda前先安装wget:
apt-get install -y wget
然后输入命令:
wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
此时看一下容器的目录:
已经安装好了,但是此时文件是灰色的。不仅没解压,还没有可执行权限!
安装解压程序:
apt-get install bzip2
找到自己的anacnoda安装包位置:(像我就是在这个文件目录里面直接下载的,就直接在这里运行就行了,刚刚看我的ls操作就能看到安装包了)
但是很显然,这个时候安装包是没有运行权限的,现在我们给它权限:
chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
现在可以看到它变成绿色了,那么就可以运行使用了!
现在开始正式安装!
./Anaconda3-5.3.0-Linux-x86_64.sh
值得注意是,基本上是回车,一直yes ,不过vscode可装可不装,自己看着办(我选择不装,我不喜欢用)
(因为基本上一路yes,所以要留意一下这个安装位置)
然后输入conda -V 看看是不是显示。如果报错说不是该命令,那么,就是没有把anaconda3/bin的路径配置到环境变量里面去,那么接下来就是去配置环境变量!
这个时候让之前记的安装位置和配置文件地址就有用了
/root/.bashrc
可以看到再次报错,居然没有权限去改?其实不是的,师兄给我的是有root权限的,那么真相只有一个!那就是这个文件现在不可用,需要我们手动给权限:
我们先进root文件夹,再查看所有的文件情况:
cd /root
ls -al ~/
现在给权限:
chmod 766 ~/.bashrc
对比十分明显,那么接下来对环境变量进行配置:
结果依然报错,那么我们下载一个可以编辑这个玩意的插件:
apt-get install vim
之后输入y就行了。
这次这样运行代码:
vim /root/.bashrc
运行后出现这样的界面,就是这个文件内部了:
先按i,这样就可以编辑了(代表insert),将下面这句放到文件尾部:
export PATH=/root/anaconda3/bin:$PATH
# 这个要依据具体你的文件位置来修改,我的这个由来是之前截图的地方强调过了
然后按esc,再按:wq并回车就可以了。
回到终端后还有最后一步:激活刚刚的配置文件
source ~/.bashrc
这下就没有问题了!
接下来可以删除anaconda的安装包,当然,空间足够大也可以不删。
rm -rf /home/Anaconda3-5.3.0-Linux-x86_64.sh
四、使用容器
上一步当然可以继续操作,如果有事先走,那就先退出,然后这样:
docker start id
docker attach id