[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist
[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist
环境
python 3.10
torch 2.4.0+cu118
torchvision 0.19.0+cu118
vllm 0.6.1.post2+cu118
问题详情
if torch._C._dispatch_has_kernel_for_dispatch_key(self.qualname, "Meta"):
RuntimeError: operator torchvision::nms does not exist
在搭建vllm 0.6.1 环境后，运行vllm --help 命令弹出该错误。
原因是torchvision导致的错误。
解决方法
首先通过pip list 查询 torchvision 的版本号
然后在torchvision download网址中找到对应安装包，下载安装包进行重新离线安装。
例如我的版本是0.19.0，平台是linux,cuda驱动是11.8
# cpu 对应安装包
torchvision-0.19.0+cpu-cp310-cp310-linux_x86_64.whl
# gpu 对应安装包
torchvision-0.19.0+cu118-cp310-cp310-linux_x86_64.whl
离线安装 pip install xxx.whl
参考
RuntimeError: operator torchvision::nms does not exist with torch 2.2.1+cpu