使用 vllm 部署 MiniCPM-o 2.6
使用 vllm 部署MiniCPM-o 2.6
- 1. 创建虚拟环境
- 2. 克隆代码
- 3. 从代码安装 vllm
- 4. 安装 flash-attn
- 5. 启动 MiniCPM-o 2.6
- 6. 使用 chatbox 客户端访问并测试一下
1. 创建虚拟环境
conda create -n vllm_openbmb python=3.11 -y
conda activate vllm_openbmb
2. 克隆代码
git clone https://github.com/OpenBMB/vllm.git
cd vllm
git checkout minicpmo
3. 从代码安装 vllm
VLLM_USE_PRECOMPILED=1 pip install --editable .
4. 安装 flash-attn
pip install flash-attn --no-build-isolation
5. 启动 MiniCPM-o 2.6
CUDA_VISIBLE_DEVICES=3,1,0,2 \
VLLM_WORKER_MULTIPROC_METHOD=spawn \
vllm serve openbmb/MiniCPM-o-2_6 --trust-remote-code --served-model-name gpt-4 --gpu-memory-utilization 0.98 --tensor-parallel-size 4 --port 8000 --api-key sk-123456
6. 使用 chatbox 客户端访问并测试一下
参考资料：
- https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file#efficient-inference-with-llamacpp-ollama-vllm