大模型学习应用 3: AutoDL 平台 transformers 环境搭建及模型部署使用（持续更新中）

之前我们学习了在和鲸的预配置好的平台上进行学习，在工作中并不现实，本期我们的目标是将已有模型部署到云端进行运行

配置环境：RTX 4090D(24GB) python 3.12(ubuntu22.04)

参考文章:AutoDL平台transformers环境搭建

注册及选择算力

首先登录官网完成注册

注册之后在算力市场找自己需要的显卡配置：

选择好显卡配置后，点击立即创建

创建后如图所示可以看到自己的实例，开机后点击jupyterLab 即可开始环境配置

新建虚拟环境并配置

进入终端后的界面，运行conda env list 可以看到现在的环境只有base(注意如果运行conda报错 执行 conda init 后重新执行即可)

根据查到的cuda版本去pytorch官网获取对应的pip语句

我这里获取到的语句为：pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

进入base环境

conda activate base
# 可能会报错‘...conda init’
#1、执行：
conda init
#2、执行：
bash
#3、重新激活：
conda activate base

新建环境并配置(注意配置虚拟环境时可以选择不使用显卡开机，不然太花钱啦)

# 1、创建transformers环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y



# 2、此时，会有两个环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda env list
# conda environments:                                                                        
#                                                                                            
base                  *  /root/miniconda3                                                    
swx_transformers         /root/miniconda3/envs/swx_transformers

# 3、激活创建的环境
(base) root@autodl-container-5af44aa208-40a903ee:~# conda create -n swx_transformers python=3.12 -y
Channels:
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
 - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
 - defaults
Platform: linux-64
Collecting package metadata (repodata.json): done
Solving environment: done


# 4、安装pytorch

# 4.1 设置下载源为清华源
(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple


# 4.1 进入pytorch官网下载最新版pytorch
# https://pytorch.org/
# 推荐使用pip安装

(swx_transformers) root@autodl-container-5af44aa208-40a903ee:~# pip3 install torch torchvision torchaudio torchtext --index-url https://download.pytorch.org/whl/cu124