利用grid sample优化BevDet
文章目录
-
- 1. grid sample介绍
-
- 1.1 grid_sample的使用
- 1.2 实现的步骤
- 1.3 grid_sample 示例
- 1.4 手动实现 grid_sample（双线性插值）
- 2. 利用grid sample优化BevDet
-
- 2.1 BevDet介绍
- 2.3 voxel pooling 实现view transformer
- 2.4 grid sample计算Bev特征
-
- 2.4.1 实现步骤
- 2.4.2 生成dfeat 和feat的grid坐标
- 2.4.3 利用grid sample计算bev特征
- 2.5 完整代码
- 3参考
在基于鸟瞰图（BEV，Bird’s Eye View）的3D感知任务中， BEV特征提取(view transform)是一个核心步骤。通常有两种常见的方法来从3D点云或图像中提取BEV特征：
-
基于
grid_sample的方法：这种方法通常是将图像特征（如多视角特征）投影到BEV特征图上，使用的是插值方法来对不同视角下的图像进行特征对齐。 -
基于
voxel pooling的方法：这种方法常用于点云处理，通过将点云划分为体素（voxels），然后在这些体素中提取特征，并投影到BEV空间中。
1. grid sample介绍
1.1 grid_sample的使用
torch.nn.functional.grid_sample(input, grid, mode=