基于AutoDL云计算平台+LLaMA-Factory训练平台微调本地大模型

1. 注册与认证

• 访问AutoDL官网：前往 AutoDL官网。

• 注册账号：完成注册流程。

• 实名认证：按照要求完成实名认证，以确保账号的合规性。

2. 选择GPU资源

• 进入算力市场：在官网首页点击“算力市场”菜单。

• 挑选GPU：根据需求选择合适的GPU资源，例如NVIDIA RTX 4090等。

• 查看配置：确保所选GPU资源的性能满足训练需求。

3. 创建实例

• 配置实例：点击所选GPU进入“创建实例”页面。

• 选择镜像：选取包含深度学习环境的镜像，避免后续手动配置训练环境。

• 完成创建：配置完成后，启动实例。

4. 初始化环境

• 进入JupyterLab：实例启动后，通过平台的JupyterLab快捷工具进入。

• 打开终端：在JupyterLab界面点击“终端”。

5. 配置网络加速（可选）

在终端中输入以下代码进行学术资源加速：

source /etc/network_turbo

6. 克隆LLaMA-Factory项目

• 克隆项目代码：

  git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

  （--depth 1 参数用于浅拷贝，仅获取最新代码，节省时间和空间）

7. 创建并激活虚拟环境

• 创建虚拟环境：

  conda create -n llama_factory python=3.10

• 初始化conda：

  source /root/miniconda3/etc/profile.d/conda.sh

• 激活环境：

  conda activate llama_factory

8. 安装依赖

• 进入项目目录：

  cd LLaMA-Factory

• 安装所需库：

  pip install -r requirements.txt

• 安装扩展依赖：

  pip install -e ".[torch,metrics]"

• 安装ModelScope库：

  pip install modelscope -U

9. 下载预训练模型

• 新建Python文件，用于下载预训练模型。以下是一个示例代码：

  from modelscope import snapshot_download
  
  model_path = "Qwen/Qwen-7B-Chat"  # 阿里通义千问7B-chat模型
  cache_path = "/root/autodl-tmp"   # 模型缓存路径
  
  snapshot_download(model_path, cache_dir=cache_path)

• 运行下载脚本：

  python download.py

10. 启动微调平台UI界面

在终端中输入以下代码，使用GPU开启微调平台的UI界面：

CUDA_VISIBLE_DEVICES=0 python src/webui.py &

11. 微调模型

• 进入WebUI界面：通过浏览器访问微调平台的UI界面。（可提前下载SSH工具代理到本地端口https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip）

• 选择模型：在WebUI中选择已下载的预训练模型（如通义千问7B-chat）。

• 配置微调参数：根据需求设置微调的超参数（如学习率、批次大小、训练轮数等）。

• 开始微调：点击“开始微调”按钮，启动微调过程。

12. 测试与验证

• 加载微调后的模型：在WebUI中加载微调后的模型。

• 进行对话测试：通过输入测试问题，验证模型的对话能力是否满足预期。

13. 保存与导出

• 保存微调模型：将微调后的模型保存到指定路径。

• 导出模型：根据需要导出模型文件，用于后续部署或进一步优化。