用deepseek R1把本地的AI工具都做成离线
用deepseek R1把本地的AI工具都做成离线
deepseek的R1是一个开源模型，那我可以使用ollama部署到本地。这样的好处在于数据隐私。比如我如果用第三方API或者大模型平台，都需要数据上云。
进入ollama官网（https://ollama.com/library/deepseek-r1:14b），我的显卡是4070，显存是12G，因此刚好安装140亿参数的模型。根据官方的说法，14b的推理能力是超过Claude 3.5 sonnet以及openai 4o，和o1-mini相当，也就是完全够用了！
| Model | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces rating |
|---|---|---|---|---|---|---|
| GPT-4o-0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| Claude-3.5-Sonnet-1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| o1-mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ-32B-Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek-R1-Distill-Qwen-1.5B | 28.9 | 52.7 | 83.9 | 33.8 | 16.9 | 954 |
| DeepSeek-R1-Distill-Qwen-7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
| DeepSeek-R1-Distill-Qwen-14B | 69.7 | 80.0 | 93.9 | 59.1 | 53.1 | 1481 |
| DeepSeek-R1-Distill-Qwen-32B | 72.6 | 83.3 | 94.3 | 62.1 | 57.2 | 1691 |
| DeepSeek-R1-Distill-Llama-8B | 50.4 | 80.0 | 89.1 | 49.0 | 39.6 | 1205 |
| DeepSeek-R1-Distill-Llama-70B | 70.0 | 86.7 | 94.5 | 65.2 | 57.5 | 1633 |
按照命令安装，
安装完成后，问个经典问题：9.9和9.11哪个大？效果不错，速度也很快：
安装好之后，开始改造本地的AI工具，比如使用vs code中的continue辅助编程：
另外我本地有使用docker本地部署next chat，进行连接本地的ollama模型：
以及翻译软件我用的openai translate，也改为本地deepseek：
另外，我本地部署还有：
KHOJ连接ollama上的deepseek，实现网络查询功能,
gpt-academic添加本地部署的deepseek进行论文润色等，而不用担心数据泄露。
（唯一可惜的是cursor只能通过API进行调用deepseek，没法完全本地化，用vs code进行代替）
总得来说，从几个月前用o1 mini的震惊，再到今天自己的4070显卡都能部署逻辑能力相近o1 mini的R1，速度还很快。
这太酷了！
参考：
https://github.com/deepseek-ai/DeepSeek-R1
https://ollama.com