openwebui使用

1、feature

1. 可以加载多个大模型 同时回复
   模型问答: 使用vLLM框架部署模型，再使用Open WebUI直接进行模型问答
   多模型支持: 多模型回复比对（Qwen2-72B-Instruct, llama3-70b-8192, mixtral-8x7b）
   RAG场景1: 文档问答
   RAG场景2: 使用Web Search进行问答
   Function Calling: 需用Python实现工具（Tool）代码
   多模态场景: 对图片进行问答（VQA）
   Pipelines: pipeline编排，可自定义工作流程
   模型问答

2、安装使用

github地址：

https://github.com/open-webui/open-webui

2.1 安装过程

python 3.11

# 1
pip install open-webui
# 2  这样能够下载模型
export HF_ENDPOINT="https://hf-mirror.com"
# 启动端口8081
open-webui serve --port 8081 

2.2 安装好后

1. 打开 http:\服务器ip:8081\
2. 注册账号登录
3. 添加了两个模型同时回复问题。
   
   工作空间设置模型
   

• 新建工具，调用
  

import os
import requests
from datetime import datetime


class Tools:
    def __init__(self):
        pass

    def get_current_time(self) -> str:
        """
        Get the current time in a more human-readable format.
        :return: The current time.
        """

        now = datetime.now()
        current_time = now.strftime("%I:%M:%S %p")  # Using 12-hour format with AM/PM
        current_date = now.strftime(
            "%A, %B %d, %Y"
        )  # Full weekday, month name, day, and year

        return f"Current Date and Time = {current_date}, {current_time}"

选择上就可以调用工具了

参考：https://percent4.github.io/NLP%EF%BC%88%E4%B8%80%E7%99%BE%E9%9B%B6%E4%B8%89%EF%BC%89%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%BA%94%E7%94%A8%E5%88%A9%E5%99%A8%E4%B9%8BOpen-WebUI%E5%85%A5%E9%97%A8/