【AI】DeepSeek来了！！！

目录

1 DeepSeek简介

2 如何在本地环境中部署和运行 DeepSeek V3 模型？

■ 基本要求

■ 代码和模型

▲ 克隆仓库并安装依赖

▲ 下载模型权重

▲ 部署方案

1 DeepSeek简介

DeepSeek 在国产 AI 领域是一股清流。它专注于技术研发，以卓越的模型性能赢得了用户的认可。DeepSeek V3 的发布，更是展现了 DeepSeek 在 AI 领域的领先地位。

DeepSeek官网: DeepSeek

DeepSeek开发者平台: DeepSeek

DeepSeek V3 GitHub 仓库: GitHub - deepseek-ai/DeepSeek-V3

DeepSeek V3 Hugging Face 链接: https://huggingface.co/deepseek-ai/DeepSeek-V3-Base

Deepseek-deploy-guide：DeepSeek V3 本地部署指南：从入门到精通

2 如何在本地环境中部署和运行 DeepSeek V3 模型？

■ 基本要求

NVIDIA GPU(推荐A100或H100)或AMD GPU

充足的系统内存（推荐32GB以上）

Linux 操作系统（推荐Ubuntu 20.04或更高版本）

Python 3.8 或更高版本

■ 代码和模型

▲ 克隆仓库并安装依赖

git clone https://github.com/deepseek-ai/DeepSeek-V3.git

cd DeepSeek-V3/inference

pip install -r requirements.txt

▲ 下载模型权重

从HuggingFace下载模型权重，并将其放入指定的文件夹。

DeepSeek-V3提供了两种模型版本：

① 基础模型：适用于通用任务。

② 对话模型：针对对话和交互优化。

具体步骤如下：

① 安装Git LFS

对于 Debian 或 Ubuntu 系统，可以使用以下命令安装Git LFS。 

sudo apt-get install git-lfs

② 初始化 Git LFS

初始化 Git LFS，在本地仓库中运行git lfs install命令，确保Git LFS的钩子被正确设置在Git配置中。

git lfs install

③ 下载模型权重

# For Base Model

git clone https://huggingface.co/deepseek-ai/DeepSeek-V3-Base

# For Chat Model

git clone https://huggingface.co/deepseek-ai/DeepSeek-V3

▲ 部署方案

基础的方式—快速测试和实验。

将FP8权重转换为16权重，可以使用以下命令：

python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16

使用DeepSeek-Infer Demo进行推理。推理示例：

torchrun --nnodes 2 --nproc-per-node 8 generate.py --node-rank $RANK --master-addr $ADDR --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

说明：本文内容来源于网络，如有侵权，请联系作者删除。

至此，本文的内容就结束啦。