vllm 离线推理Qwen2.5-VL-Instruct,API部署,支持max_pixels
使用这里的最新镜像:
https://www.dong-blog.fun/post/1799
启动环境
docker run -it --rm --gpus '"device=1,2"' \
--net host \
-v ./zizhi_merge_2025-1/:/Qwen2.5-VL-Instruct \
-v ./test:/test \
使用这里的最新镜像:
https://www.dong-blog.fun/post/1799
启动环境
docker run -it --rm --gpus '"device=1,2"' \
--net host \
-v ./zizhi_merge_2025-1/:/Qwen2.5-VL-Instruct \
-v ./test:/test \