Ollama+DeepSeek本地大模型部署
1、Ollama
官网:https://ollama.com/
Ollama可以干什么? 可以快速在本地部署和管理各种大语言模型,操作命令和dokcer类似。
mac安装ollama:
# 安装ollama
brew install ollama
# 启动ollama服务(默认11434端口,模型文件在 ~/.ollama)
ollama serve
windows安装ollama:
- https://www.cnblogs.com/skystrive/p/18584237
Ollama常用命令:
- 启动Ollama服务:
ollama serve
- 从模型文件创建模型:
ollama create
- 显示模型信息:
ollama show 模型名称
- 运行模型:
ollama run 模型名称
- 拉取模型:
ollama pull 模型名称
- 将模型推送到私服:
ollama push
- 列出本地模型:
ollama list
- 复制模型:
ollama cp
- 删除模型:
ollama rm 模型名称
- 获取有关Ollama任何命令的帮助信息:
ollama help
2、DeepSeek R1
打开一个新的命令行窗口,使用ollama安装DeepSeek R1模型:
ollama run deepseek-r1:1.5b
测试命令行方式对话:
3、Maxkb接入Ollama
官网:https://maxkb.cn/
MaxKB = Max Knowledge Base,是一款基于大语言模型和 RAG 的开源知识库问答系统,广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。
docker方式安装:
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
浏览器访问:http://localhost:8089/ui/login
- 用户名:admin
- 密码:MaxKB123…