DeepSeek本地部署的一些问题记录
1、模型怎么不保存到C盘:关掉ollama之后,设置环境变量:OLLAMA_MODELS,环境变量的地址,改为你想要的地址,参考文章:
https://blog.csdn.net/u012151594/article/details/142062199
2、ollama rm 模型名,删除新建的模型,
缓存文件 C:\Users\Administrator.ollama,找你对应的目录,删除即可
3、1.5b 模型,4GB显存就能跑。
7b、8b 模型,8GB显存就能跑。
14b 模型,12GB显存能跑。
32b 模型,24GB显存能跑。
4、A 卡也能跑,不过需要支持 rocm 的 ollama。
5、本地部署能突破限制,但是需要自己设置 system 绕过规则,也可以自己 finetune 模型。