【docker好用系列】llama-factory环境配置

分享一个自用的llama-factory的Dockerfile

注意：使用之前，先在同级目录下放一个LLaMA-Factory-main.zip以及vscode-server.tar.gz
前者是为了防止git拉不下来的情况，后者是让vscode直连这个容器，下面是Dockerfile

# 使用 NVIDIA 官方提供的 Ubuntu 22.04 基础镜像，包含 CUDA 12.4.1 和 cuDNN 开发版
FROM nvidia/cuda:12.4.1-cudnn-devel-ubuntu22.04

# 设置环境变量，避免 APT 交互式输入，确保自动安装软件包
ENV DEBIAN_FRONTEND=noninteractive

# 修改 APT 软件源为清华大学镜像，加速国内软件包下载
RUN sed -i 's/archive.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g' /etc/apt/sources.list && \
    sed -i 's/security.ubuntu.com/mirrors.tuna.tsinghua.edu.cn/g' /etc/apt/sources.list

# 更新 APT 软件包列表，并安装一些常用工具
RUN apt-get update && apt-get install -y \
    wget \                     # 下载工具
    git \                      # 代码版本管理工具
    build-essential \          # 常用编译工具（包含 gcc、make 等）
    vim \                      # 文本编辑器
    ssh \                      # SSH 远程连接支持
    unzip \                    # 解压 ZIP 文件工具
    cmake \                    # C++ 项目构建工具
    g++ \                      # C++ 编译器
    && apt-get clean \         # 清理 APT 缓存，减少镜像体积
    && rm -rf /var/lib/apt/lists/*  # 删除 APT 缓存文件，进一步瘦身

# 配置 SSH，允许密码登录，并允许 root 用户直接登录
RUN sed -i 's/#PasswordAuthentication yes/PasswordAuthentication yes/g' /etc/ssh/sshd_config && \
    sed -i 's/#PermitRootLogin prohibit-password/PermitRootLogin yes/g' /etc/ssh/sshd_config

# 下载 Miniconda 并安装（使用清华大学镜像加速）
RUN wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda.sh && \
    bash ~/miniconda.sh -b -p /opt/conda && \  # 静默安装 Miniconda 到 /opt/conda 目录
    rm ~/miniconda.sh && \                     # 删除安装脚本，节省空间
    /opt/conda/bin/conda clean -a -y           # 清理 Conda 缓存，减少镜像体积

# 添加 Conda 到环境变量，使其可以直接使用
ENV PATH /opt/conda/bin:$PATH

# 配置 Conda 和 pip 使用清华大学镜像，加速 Python 依赖安装
RUN conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ && \
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ && \
    conda config --set show_channel_urls yes && \
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 创建一个新的 Conda 虚拟环境，命名为 llama-factory，并安装 Python 3.11
RUN conda create -n llama-factory python=3.11 -y

# 指定 Docker 运行的默认 shell，并激活 llama-factory 环境
SHELL ["conda", "run", "-n", "llama-factory", "/bin/bash", "-c"]

# 在 Conda 环境中安装 PyTorch 及其他依赖
RUN pip install torch torchvision torchaudio && \  # 安装 PyTorch
    pip install deepspeed flash-attn              # 安装 DeepSpeed 和 Flash Attention

# 复制 VS Code 服务器和 LLaMA-Factory 代码到容器中
WORKDIR /root
COPY vscode-server.tar.gz /tmp/                 # 复制 VS Code Server 压缩包到 /tmp/
COPY LLaMA-Factory-main.zip /tmp/               # 复制 LLaMA-Factory 代码压缩包到 /tmp/

# 解压 VS Code Server 并删除压缩包节省空间
RUN tar -xzf /tmp/vscode-server.tar.gz -C ~/ && \
    rm /tmp/vscode-server.tar.gz

# 解压 LLaMA-Factory 代码，并安装其 Python 依赖
RUN unzip /tmp/LLaMA-Factory-main.zip -d /root/ && \
    rm /tmp/LLaMA-Factory-main.zip && \  # 删除压缩包，节省空间
    cd /root/LLaMA-Factory-main && \     # 进入 LLaMA-Factory 目录
    pip install -e ".[torch,metrics]"    # 安装 LLaMA-Factory 及相关依赖

# 设置默认工作目录为 LLaMA-Factory
WORKDIR /root/LLaMA-Factory-main

# 运行容器时，启动 SSH 服务，并进入交互式 bash shell
CMD service ssh start && /bin/bash

使用方法：

# 编译环境
docker build -t llama-factory:latest .

# 运行容器
docker run --gpus all -it -p 22:22 llama-factory:latest