vllm+openwebui，玩转私有化AI
架构
采用vllm推理框架，启动llamafactory微调训练好的大模型
openwebui做前端调用
使用
vllm启动：vllm serve /root/autodl-tmp/model/Qwen/Qwen2.5-VL-3B-Instruct-merge（模型地址）
安装open webui流程
#创建一个open-webui的conda环境
conda activate open-webui
# 安装open-webui
pip install -U open-webui torch transformers
# 切换到新建的环境
conda activate open-webui
#配置
export HF_ENDPOINT=https://hf-mirror.com
#因为open-webui默认为ollama框架，所以使用vllm框架启动大模型的话需要将这里改为false
export ENABLE_OLLAMA_API=false
#调用大模型的地址，vllm的默认启动端口为8000
export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1
#启动openwebui
open-webui serve启动openwebui后，如果没有跳转到web页面的话，需要自己手动配置一下8080端口转发
然后再去访问8080端口，就会出现这个页面，这个是随便输入的
然后就可以跟大模型进行对话
