Ollama + Openwebui 本地部署大型模型与交互式可视化聊天

Ollama简介

Ollama是一个创新的平台，它允许用户在本地启动并运行大型语言模型。它提供了一个简单易用的内容生成接口，类似于OpenAI，但无需开发经验即可直接与模型进行交互。Ollama支持热切换模型，为用户提供了灵活性和多样性。

安装Ollama

要安装Ollama，请访问官方网站的下载页面：Ollama下载页面。在这里，你可以根据你的操作系统选择合适的版本进行下载，目前，Ollama支持macOS 11 Big Sur或更高版本。

macOS用户

对于macOS用户，可以直接点击下载链接获取Ollama的压缩包：Download for macOS。

Windows用户

对于Windows用户，可以参照上述链接中的步骤进行安装，安装过程中，你可以通过注册来接收新更新的通知。

使用Ollama

安装完成后，你可以通过命令行查看Ollama的可用命令。例如，在Windows的PowerShell中，输入ollama即可查看帮助信息和可用命令。

PS C:\Users\Admin> ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
PS C:\Users\Admin>

下载和使用大型模型

Ollama的模型库提供了多种大型语言模型供用户选择。你可以通过访问Ollama模型库来找到并下载你需要的模型。

查看已安装模型

安装模型后，使用ollama list命令可以查看已安装的模型列表。

PS C:\Users\Admin> ollama list
NAME            ID              SIZE    MODIFIED
gemma:2b        b50d6c999e59    1.7 GB  About an hour ago
llama2:latest   78e26419b446    3.8 GB  9 hours ago
qwen:latest     d53d04290064    2.3 GB  8 hours ago
PS C:\Users\Admin>

运行模型

通过ollama run命令，你可以运行特定的模型。例如，ollama run qwen将启动qwen模型。

OpenWebUI简介

OpenWebUI是一个可扩展、功能丰富且用户友好的自托管WebUI，它支持完全离线操作，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。

安装 Openwebui

• 如果您的计算机上有 Ollama，请使用以下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 如果 Ollama 位于不同的服务器上，请使用以下命令：
• 要连接到另一台服务器上的 Ollama，请将 更改OLLAMA_BASE_URL为服务器的 URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 安装完成后，您可以通过http://localhost:3000 访问OpenWebUI

这个时候会发现【Select a model】可以选择我们刚刚下载好的模型：

这样我们就有了一个类似GPT的可视化界面

并且他还可以一次性加入多个模型，一起对话对比使用：

使用 Modelfiles

可以自行按要求创建，也可去官网社区快速设置其他用户创建好的Modelfiles。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、100+套大模型面试题库

五、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。