本地大模型搭建与webui交互
本地大模型搭建与webui交互
概述
本文档记录如何通过以下步骤快速搭建本地模型服务：
- 使用 Ollama 客户端部署本地模型
- 通过 Docker 部署 WebUI 界面
- 实现浏览器交互式访问
环境准备
- 支持 Docker 的操作系统（Windows/macOS/Linux）
- 已安装 Ollama 客户端
- 已安装 Docker（这里如果可以的话，我个人建议使用DockerDesktop，这样更加直观）
操作步骤
1. 安装 Ollama 客户端
- 访问 Ollama 官网 下载对应系统的客户端
- 完成安装后，验证版本：
ollama --version
# 应输出类似：ollama version 0.5.11
运行态
ollama下载后打开就是一个后台运行程序，无任何交互页面，但是你在后台进程里面能够看到他，就说明正常运行了。（第一次双击打开，发现没啥反应请不用激动）
2. 模型操作
通过命令行直接拉取模型（以 deepseek 为例）：
ollama pull deepseek-r1:14b
运行模型：
ollama run deepseek-r1:14b
查看模型集合
ollama list
是的，就是这么简单。整个模型的操作就是这么几步，但是与其考虑这个，不如考虑一下，你的适用场景，能拉什么模型？
3.模型选择
我们以标准的32G电脑内存为例：如果你是程序员，且主要功能是用于做代码开发的（苦于openAI的外网和deepSeek的网络问题，你可以尝试本地拉着先玩玩。但实际上，哪怕我拉了32b的还是不太智能，不如直接装个github copilot）
模型推荐（基于 32GB 内存）
ollama的标准模型地址：
https://ollama.com/search
顺带看一下 顶配671b
我不知道他多大，但是可以用我本地的对比一下
1. 代码开发场景
| 模型名称 | 推荐理由 | 内存占用 |
|---|---|---|
| CodeLLaMA | 专为代码生成优化，支持多种编程语言（Python、Java、C++ 等） | ~16GB |
| StarCoder | 高性能代码生成模型，适合大型项目开发 | ~20GB |
| WizardCoder | 基于 CodeLLaMA 微调，代码生成质量更高 | ~18GB |
2. 通用开发场景
| 模型名称 | 推荐理由 | 内存占用 |
|---|---|---|
| LLaMA 2 | 通用性强，适合文档生成、代码解释、问题解答等 | ~20GB |
| Mistral | 高性能通用模型，推理速度快，适合日常开发辅助 | ~16GB |
| Falcon | 轻量级通用模型，适合快速原型开发和实验 | ~12GB |
3. 多模态场景
| 模型名称 | 推荐理由 | 内存占用 |
|---|---|---|
| LLaVA | 支持图像和文本交互，适合需要处理多模态数据的开发场景 | ~24GB |
| MiniGPT-4 | 轻量级多模态模型，适合图像描述、文档生成等任务 | ~20GB |
webui部署
事实上，你刚刚拉我就可以直接ollama run 对应的模型了，但问题是：这种交互方式极度不友好。
你不能贴图片解析，换行也不好换行
所以一般需要一个webui
镜像拉取
docker pull ghcr.io/open-webui/open-webui:main
docker 运行(注意：关闭了OpenAI)
docker run -d \
--name ollama-webui \
-p 3000:8080 \
-e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
-e OPENAI_API_KEY=disabled \
-e DISABLE_OPENAI=true \
--add-host=host.docker.internal:host-gateway \
ghcr.io/open-webui/open-webui:main
注意一下，我把OPENAI_API_KEY给关闭了，因为正常你不翻墙的话，他连接不了，就导致第一次打开很慢（你要等到他http超时，才往下去load本地模型）
运行效果图
创建你个人账号后，就可以进去了。（如果很慢的话，记得看一下你的本地docker日志，之前是因为他默认会连接openAI，外网无法访问，要等他http超时）
常见问题排查
模型无法加载
确认 Ollama 服务已运行：
curl http://localhost:11434
检查模型是否下载完成：
ollama list
WebUI 无法连接
验证容器网络配置：
docker exec ollama-webui curl -v http://host.docker.internal:11434
检查防火墙设置是否放行 11434 和 3000 端口