当前位置: 首页 > article >正文

服务搭建 ollama + Deepseek + Open WebUI + 硅基流动API

文章目录

  • 一、ollama
    • ollama 安装
    • ollama 配置
  • 二、 Deepseek 模型下载
  • 三、 Open WebUI
    • 1、安装 Docker
    • 2、安装 WebUI 镜像
    • 3、确认镜像安装成功
    • 4、客户端访问
    • 5、平台使用
    • 5、外部服务器
    • 6、外部接入硅基流动API


I know, i know
地球另一端有你陪我




一、ollama

功能类似 docker,用于大数据模型的管理与应用,能够加载并执行大数据模型。
此处以 CentOS 7 为例
# 更新系统
sudo yum update -y

# 安装必要的依赖
sudo yum install -y curl

ollama 安装

ollama linux版 官方地址
就是下面这句,可直接复制使用

curl -fsSL https://ollama.com/install.sh | sh

ollama 配置

确认安装完成。应能看到具体版本

ollama -v

启动服务

sudo systemctl start ollama

设置开机自启

sudo systemctl enable ollama


二、 Deepseek 模型下载

以 ollama提供的 deepseek-r1 为例 官方地址
拉取模型(同 docker 用法一致)

ollama pull deepseek-r1:7b
此处 7b 代表 7 billion ,即包含七十亿的训练模型参数,
通常参数越大模型效果越好,但会受到内存+显存的限制
满血的 Deepseek 有 671b 大小参数

展示本地模型

ollama list

运行模型

ollama run deepseek-r1:7b

在这里插入图片描述

/bye 退出


三、 Open WebUI

一个为大语言模型提供可视化界面的工具。为避免一些插件版本问题,尽量使用 docker 安装

1、安装 Docker

闭眼跑就完事了

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker
sudo systemctl enable docker
docker --version

2、安装 WebUI 镜像

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里的 3000 是外部端口号,可以自由修改成其他非冲突的端口,3001、3002等

3、确认镜像安装成功

正常盯着跑完就没问题的,可以看一眼 docker 容器

docker ps

在这里插入图片描述

4、客户端访问

服务器IP加上端口访问即可,如果无法访问可以看一下端口是否被禁
http://localhost:3000
http://XX.XX.XX.XX:3000

5、平台使用

第一步是注册,填写邮箱和用户名密码即可,之后可能会进入白屏,等待即可
在这里插入图片描述
正常本地安装完,这里可以正常看到 ollama 中存在的模型
在这里插入图片描述

5、外部服务器

如果是在外部服务器,这里需要多加一步
修改配置文件

vim /etc/systemd/system/ollama.servic

添加一句

Environment="OLLAMA_HOST=0.0.0.0:11434"

此时文件内容变成

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启 ollama

systemctl daemon-reload
systemctl restart ollama

此时刷新外部界面,应该可以看到正常的模型

6、外部接入硅基流动API

注册登录硅基流动官网
注册 API
在这里插入图片描述
ollama 界面中添加模型
URL 固定是 https://api.siliconflow.cn/v1
密钥中填写 API 内容
模型 ID 添加需要的模型(如:deepseek-ai/DeepSeek-R1)记得点 +
在这里插入图片描述
之后可以正常看到模型选择
在这里插入图片描述


http://www.kler.cn/a/555957.html

相关文章:

  • Cursor和Trae使用的感受
  • 在工作中PostgreSQL常用的SQL命令
  • 网络安全评估指南 网络安全评价体系
  • pikachu之CSRF防御:给你的请求加上“网络身份证”
  • VUE3+TS+element-plus项目从0开始入门 - 创建项目、认识基本结构
  • Apipost和Apifox如何选型(1):WebSocket调试
  • 量子计算的威胁,以及企业可以采取的措施
  • Docker的学习笔记
  • Linux发展史:从个人项目到开源帝国的技术演进
  • iOS之动态库和静态库的区别
  • 【JavaEE进阶】Spring MVC(4)-图书管理系统案例
  • 从CNN到Transformer:遥感影像目标检测的未来趋势
  • 数据结构与算法-搜索-剪枝
  • 【拜读】Tensor Product Attention Is All You Need姚期智团队开源TPA兼容RoPE位置编码
  • 路由器的WAN口和LAN口有什么区别?
  • HTTP.
  • 基于STM32单片机的智能蔬菜大棚温湿度监测系统设计
  • 图数据库Neo4j面试内容整理-模式匹配
  • verilog基础知识
  • 不同类型的网站选择不同的服务器,那么应该怎么选择服务器呢?