(三)穷人技术部署方案:基于K80显卡的DeepSeek-Ollama部署
基于K80显卡的DeepSeek-Ollama部署,最穷的方案,只能部署Deepseek 7B版,因此有钱的不建议这样折腾自己,除非真的有时间又穷到像我这样。
1. 环境兼容性验证
硬件确认
显卡型号:NVIDIA Tesla K80 (Kepler架构,计算能力3.7)
显存容量:2x12GB(需验证是否以双卡模式运行)
PCI-E带宽:建议3.0及以上(影响数据吞吐)
软件依赖
操作系统:Ubuntu 20.04/22.04 LTS(已验证兼容性最佳)
驱动要求:最低470.199.02(支持CUDA 11.4+)
CUDA Toolkit:11.8(信息不太对称有些说K80支持的最高版本可能是10.2版,这个需要官网再核实,如果Cuda工具不支持K80的版本那就没法执行)