试过了，多模态大模型Qwen/Qwen2.5-VL-3B-Instruct需要21G显存，我还是太天真啊！
前缘概述
之前说道，我想通过自己的笔记本（6G显存）部署一个Qwen/Qwen2.5-VL-3B-Instruct，最后因为显存不够，就放弃了。
Centos7，T4，几多磨难
但随后，我便开始了在一台系统为centos7，显卡为T4的机器上进行部署。总之就是很磨难，很多坑，最后还没有成功。
我猜测，相较于T4作为一张老显卡所带来的限制，centos7所默认的glibc版本为4.8应该是更为致命。
这一块儿，反正咱先给个初步的猜测，如果你想通过vllm部署Qwen/Qwen2.5-VL-3B-Instruct，如果你是centos7，那么请你优先采用docker部署。会省去很多麻烦。
如果你是T4这样的老显卡，也要做好被虐的准备。
柳暗花明，A100还是香啊
放弃T4之后，后来，到处乞讨，终于借到了一张A100。
就，怎么说呢？给我的感觉就是，贵的东西是真的香啊！
整个部署过程，除了安装uv，虚拟环境，和激活环境，后面，就两步：