安装mmdet3d报错【fatal error: spconv/maxpool.h: No such file or directory】
背景
- 安装mmdet3d库时报异常
pip3 install mmdet3d==0.17.3
- 异常内容
[6/7] /usr/local/cuda/bin/nvcc -DWITH_CUDA -I/tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/mmdet3d/ops/spconv/include -I/usr/local/lib/python3.8/dist-packages/torch/include -I/usr/local/lib/python3.8/dist-packages/torch/include/torch/csrc/api/include -I/usr/local/lib/python3.8/dist-packages/torch/include/TH -I/usr/local/lib/python3.8/dist-packages/torch/include/THC -I/usr/local/cuda/include -I/usr/include/python3.8 -c -c /tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/mmdet3d/ops/spconv/src/maxpool_cuda.cu -o /tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/build/temp.linux-x86_64-3.8/mmdet3d/ops/spconv/src/maxpool_cuda.o -D__CUDA_NO_HALF_OPERATORS__ -D__CUDA_NO_HALF_CONVERSIONS__ -D__CUDA_NO_BFLOAT16_CONVERSIONS__ -D__CUDA_NO_HALF2_OPERATORS__ --expt-relaxed-constexpr --compiler-options ''"'"'-fPIC'"'"'' -w -std=c++14 -D__CUDA_NO_HALF_OPERATORS__ -D__CUDA_NO_HALF_CONVERSIONS__ -D__CUDA_NO_HALF2_OPERATORS__ -DTORCH_API_INCLUDE_EXTENSION_H '-DPYBIND11_COMPILER_TYPE="_gcc"' '-DPYBIND11_STDLIB="_libstdcpp"' '-DPYBIND11_BUILD_ABI="_cxxabi1011"' -DTORCH_EXTENSION_NAME=sparse_conv_ext -D_GLIBCXX_USE_CXX11_ABI=0 -gencode=arch=compute_86,code=compute_86 -gencode=arch=compute_86,code=sm_86
FAILED: /tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/build/temp.linux-x86_64-3.8/mmdet3d/ops/spconv/src/maxpool_cuda.o
/usr/local/cuda/bin/nvcc -DWITH_CUDA -I/tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/mmdet3d/ops/spconv/include -I/usr/local/lib/python3.8/dist-packages/torch/include -I/usr/local/lib/python3.8/dist-packages/torch/include/torch/csrc/api/include -I/usr/local/lib/python3.8/dist-packages/torch/include/TH -I/usr/local/lib/python3.8/dist-packages/torch/include/THC -I/usr/local/cuda/include -I/usr/include/python3.8 -c -c /tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/mmdet3d/ops/spconv/src/maxpool_cuda.cu -o /tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/build/temp.linux-x86_64-3.8/mmdet3d/ops/spconv/src/maxpool_cuda.o -D__CUDA_NO_HALF_OPERATORS__ -D__CUDA_NO_HALF_CONVERSIONS__ -D__CUDA_NO_BFLOAT16_CONVERSIONS__ -D__CUDA_NO_HALF2_OPERATORS__ --expt-relaxed-constexpr --compiler-options ''"'"'-fPIC'"'"'' -w -std=c++14 -D__CUDA_NO_HALF_OPERATORS__ -D__CUDA_NO_HALF_CONVERSIONS__ -D__CUDA_NO_HALF2_OPERATORS__ -DTORCH_API_INCLUDE_EXTENSION_H '-DPYBIND11_COMPILER_TYPE="_gcc"' '-DPYBIND11_STDLIB="_libstdcpp"' '-DPYBIND11_BUILD_ABI="_cxxabi1011"' -DTORCH_EXTENSION_NAME=sparse_conv_ext -D_GLIBCXX_USE_CXX11_ABI=0 -gencode=arch=compute_86,code=compute_86 -gencode=arch=compute_86,code=sm_86
/tmp/pip-install-kmdgu6d9/mmdet3d_b3a635dfc07f48c79988b482048acf29/mmdet3d/ops/spconv/src/maxpool_cuda.cu:16:10: fatal error: spconv/maxpool.h: No such file or directory
16 | #include <spconv/maxpool.h>
| ^~~~~~~~~~~~~~~~~~
compilation terminated.
- 其实还有一连串其他相关的错误,都是spconv下的各种文件找不到,此处只截取一个maxpool.h作为示例说明
原因分析
-
从报错日志上看,错误原因很清晰: spconv/maxpool.h这个文件找不到
-
C++头文件找不到的原因无非就两种:1)文件根本就不存在;2)文件确实存在,但C++的路径配置有问题(比如-I参数等)‘
-
无论上述哪种原因,都需要确认该头文件是谁提供的:1)第三方库(需要安装一些依赖库?或者源码中包含的第三方源码中提供的?);2)mmdet3d本身源码提供的
-
但是想确认谁提供的这个头文件,还是比较麻烦的,需要研究源码的实现。所以笔者采取偷懒的方法:先看源码中是否有该文件(包括源码中依赖的第三方源码),方法也和简单:直接整个目录下搜索该文件。
-
很巧,以下就搜到了,位置在:mmdet3d/ops/spconv/include下,那么就很清楚了
-
从上图可以看到,目录下有maxpool.h、mp_helper.h、spconv_ops.h等各种头文件,正式之前编译时报错的这些文件。
-
再看编译命令,命令中也已经包含了该路径啊(下图红框中)
-
那就奇怪了,源码中有需要的头文件,编译命令中也包含了该include的路径,怎么会找不到呢?真的很奇怪。
-
百思不得其解时,突然想到会不会下载的源码有问题?于是把pip install时打印出来的命令行里下的源码地址拿出来单独下载(下图红框中地址)
-
把该源码地址的tar包单独下载、解压后,赫然发现mmdet3d/ops/spconv/下根本不存在include目录,和github上的代码完全不一样,无语凝噎
-
至此,报错原因找到,源码打包上传python库时有问题,导致pip安装时下载的源码不对
解决方法
- 从github上的官方仓库下载对应版本的源码
- 使用源码编译安装
后记
- 无语
- 笔者只测试了v0.17.3、v0.18.1两个版本,其他版本是否存在类似问题未知