vLLM专题（三）-快速开始
本指南将帮助您快速开始使用 vLLM 执行：
- 离线批量推理
- 使用 OpenAI 兼容服务器进行在线服务
先决条件
操作系统：Linux
Python：3.9 – 3.12
安装
如果您使用的是 NVIDIA GPU，您可以直接使用 pip 安装 vLLM。
建议使用 uv，一个非常快速的 Python 环境管理器，来创建和管理 Python 环境。请按照文档安装 uv。安装 uv 后，您可以创建一个新的 Python 环境，并使用以下命令安装 vLLM：
uv venv myenv --python 3.12 --seed
source myenv/bin/activate
uv pip install vllm
您也可以使用 conda 来创建和管理 Python 环境。