windows server独立部署Qwen2.5-vl-7B
服务器配置信息
CPU：64G
GPU：48G（RTX 4090）
一、使用conda下载模型 Qwen2.5-VL-7B-Instruct
conda下载
conda create --name qwen python=3.11
conda activate qwen
魔塔社区下载模型
pip install modelscope
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct
二、下载项目代码及相关安装
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL
pip install git+https://github.com/huggingface/transformers accelerate
pip install qwen-vl-utils[decord]==0.0.8
三、下载GPU运行的PyTorch
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
四、搭建WebUI
git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件，打开该文件，有两处需要修改：
第一处：修改模型加载的路径：DEFAULT_CKPT_PATH = ‘E:\qwen2.5-vl\qwen2.5-vl-7B\Qwen2___5-VL-7B-Instruct’ （根据实际情况而定）
五、必要依赖安装
pip install gradio
pip install torchvision
六、启动命令
python web_demo_mm.py
