deepseek本地集群部署调研
deepseek本地集群部署调研
硬件要求
大致显卡需求：运行 7B 机型至少需要 8GB 内存，运行 13B 机型至少需要 16GB 内存，运行 33B 机型至少需要 32GB 内存。
技术
Ollama
项目地址：https://github.com/ollama/ollama
vLLM
项目地址：https://github.com/vllm-project/vllm
openwebui
大模型对话界面
项目地址：https://github.com/open-webui/open-webui
k8s*
文档：https://kubernetes.io/zh-cn/docs/home/
集群部署方案，可选用其他技术
实验室原有配置是否有集群管理
备选方案
部署蒸馏模型
接入第三方api
deepseek官网(被攻击，不稳定)
硅基流动（首次注册有免费额度）
火山引擎（首次注册有免费额度）
腾讯云平台（首次注册有免费额度）
阿里云平台（首次注册有免费额度）
天翼云（首次注册有免费额度）
超算互联网
纳米AI
费额度）
阿里云平台（首次注册有免费额度）
天翼云（首次注册有免费额度）
超算互联网
纳米AI
Azure