服务器通过 ollama 运行deepseek r1

1、服务器环境简介

• 56核 CPU
• 64G 内存
• 无显卡
• 已安装 Ollama

2、下载模型与配置

正常可以通过 ollama pull 或 ollama run 命令直接下载，但通常会遇到连接超时、找不到网址等总理。因此，可以使用国内的模型站进行下载，在这里使用魔塔查找模型。

在这里，我下载了

DeepSeek-R1-Distill-Qwen-1.5B-GGUF

DeepSeek-R1-Distill-Qwen-7B-GGUF

两个版本

下载后，分别创建两个 txt 文件：

deepseek-r1-1.5B.txt，具体参数可依据使用情况修改

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop "<|begin of sentence|>"
PARAMETER stop "<|end of sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

 deepseek-r1-7B.txt，与1.5B 类似

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop "<|begin of sentence|>"
PARAMETER stop "<|end of sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

3、运行命令导入至 ollama

ollama create deepseek-r1:1.5B -f ./deepseek-r1-1.5B.txt

ollama create deepseek-r1:7B -f ./deepseek-r1-7B.txt

4、运行模型

ollama run deepseek-r1:7B

5、运行测试结论

1.5B：能够显示思考过程，问答效果不佳，胡编乱造内容较多，运行较流畅。

7B：能够显示思考过程，问答效果略好，有胡编乱选内容，运行响应很慢。

总结，这两个模型在这种配置的服务器上均可运行，但如果想得到较好的体验，这个配置远远不够。