ubuntu下ollama/vllm两种方式在本地部署Deepseek-R1
1.前言
今年过年，deepseek一下子爆火，导致我前段时间好好用的官网直接挤爆了，一直转圈圈到没心思过了，天天挂热搜，直接导致我的科研工作受阻（dog），好吧，话不多说，看看怎么在本地部署deepseek丝滑享受以及白嫖一下api体验>_<!
部署环境：
系统：ubuntu22.04
显卡：一张4090,24G显存
2.vllm部署deepseek-R1-8B
2.1 vllm安装
conda create -n vllm python==3.11
conda activate vllm
pip install vllm
2.2 模型下载
直接去HF官网找到官方发布的模型仓库https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main，可以自己用浏览器下载或者迅雷下载（我觉得这个快一点）亦或者HF提供的下载方式