Dify+Ollama本地部署deepseek模型(自用)
b站教程:
手把手教你DeepSeek+Dify本地部署,实现零成本部署本地知识库,快速打造私人AI助理!小白也可以轻松上手!大模型|LLM
第一步:安装Ollama
第二步:在ollama上下载模型
ollama run...
第三步:安装docker desktop
第四步:github拉取dify源码
github: dify
下载zip,解压缩到D盘
第五步:更改配置文件
(先复制一份,防止修改失败)
dify——docker——.env
用vscode把文件打开,最后加上两行
#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定Ollama的API地址(根据部署环境调整IP)
OLLAMA_API_BASE_URL=host.docker.internal:11434
第六步:远程下载dify
在docker目录下,右键进入终端
docker compose up -d
这步耗时最久,因为服务器在国外(可开节点试试)且文件较大。
第七步:访问本地dify网址
就是在浏览器输入127.0.0.1
第八步:解决登录界面502问题
dify docker部署后,在install界面卡住,step请求报502的问题解决
直接用第二个创建自动化脚本的方法。
第九步:在dify中配置LLM和系统推理模型
(1)选择Ollama作为模型供应商,填入模型名字和基础URL
(http://host.docker.internal:11434)
(2)刷新一下,并确保模型已开启,然后设置系统推理模型
注意:
1、Docker要先运行起来,才能打开dify网页!
2、后续如何打开dify?
在vscode打开dify——docker这个文件夹,然后终端执行两条命令
docker compose up -d
python dify-nginx.py
3、其他:
(1)windows用python而不是python3,确认命令是什么操作系统的
(2)执行程序时,检查一下问题栏有没有**库无法导入的情况!再运行
(3)复制模型名称时,检查不要多带了空格,否则会找不到模型,引发404错误