当前位置: 首页 > article >正文

ubuntu ollama+dify实践

安装ollama

官网的指令太慢了,使用以下指令加速:

export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

修改环境变量

sudo systemctl stop ollama

参考链接

vim /etc/systemd/system/ollama.service

修改Restart为No使得ollama服务不自动重启

gedit ~/.bashrc

添加以下内容

export OLLAMA_HOST=0.0.0.0:11434 #修改host,使得所有ip都可以访问。
export OLLAMA_MODELS=/media/DISK4TB/personal/lbw/.ollama/models #修改模型存储路径
export OLLAMA_KEEP_ALIVE=24h #修改模型在线时间为24h

而后运行以下指令重启ollama serve

sudo systemctl stop ollama
sudo systemctl daemon-reload
sudo systemctl start ollama
ollama serve

windosw上修改环境变量:添加链接描述

运行ollama模型

ollama run llama3.2
等待模型下载后会运行
在这里插入图片描述

安装dify

参考链接 添加链接描述

通过docker运行即可。

在dify中配置ollama模型

在浏览器输入网址:http://localhost/signin

第一次登录需要注册,如果注册完了,就登录即可。
在这里插入图片描述
在右上角点设置->模型供应商->安装模型供应商->安装ollama

参考https://docs.dify.ai/zh-hans/development/models-integration/ollama 添加ollama,如图所示。
注意,模型名称需要准确,可以通过ollama ps 获得
基础URL可以填写本地ip地址即可
在这里插入图片描述

添加知识库

参考:添加链接描述
首先pull一个embedding model。
ollama pull bge-m3
而后,在dify上添加一下,和添加LLM一样的步骤,只不过选择Text embedding
在这里插入图片描述


http://www.kler.cn/a/588600.html

相关文章:

  • 关于修改 Ollama 及其模型默认路径、迁移已安装的 Ollama 程序和模型以及重启 Ollama 的操作指南
  • 计算机视觉——深入理解卷积神经网络与使用卷积神经网络创建图像分类算法
  • 在线 SQL 转 Flask-SQLAlchemy
  • 高版本node(17+)环境下VUE2项目启动报错
  • Android 7 及以上夜神模拟器,Fiddler 抓 https 包
  • DDS:保障物联网系统的稳定运行和高效协作
  • 提升 React 应用性能:使用 React Profiler 进行性能调优
  • Assembly语言的自然语言处理
  • Spring Boot项目中成功集成了JWT
  • C++学习内存管理
  • 【NLP 38、实践 ⑩ NER 命名实体识别任务 Bert 实现】
  • STM32 - 在机器人领域,LL库相比HAL优势明显
  • RAG数据嵌入和重排序:如何选择合适的模型
  • .NET_Prism基本项目创建
  • 嵌入式工程师春招面试高频题与参考回答
  • PyTorch 深度学习实战(15):Twin Delayed DDPG (TD3) 算法
  • DeepSeek在学术选题中两个核心提示词
  • Swift 中 associatedtype 的用法详解
  • 自动驾驶之心视觉语言导航!VLN算法与实战课程
  • Ubuntu从源码安装Webots