当前位置: 首页 > article >正文

3D点云目标检测:VoxelNex解读

VoxelNext

  • 通用检测器 vs VoxelNext
  • 一、3D稀疏卷积模块
    • 1.1、额外的两次下采样
      • 消融实验结果
      • 代码
    • 1.2、稀疏体素删减
      • 消融实验:
      • 代码
  • 二、稀疏体素高度压缩
    • 代码
  • 三、稀疏预测head

通用检测器 vs VoxelNext

一、3D稀疏卷积模块

1.1、额外的两次下采样

使用通用的3D sparse conv,包含4个stage,每个stage穿插常规稀疏卷积和子流形稀疏卷积,得到的特征分别为F1、F2、F3、F4。

VoxelNext的backbone在原有的基础上再增加两次下采样,分别得到F5,F6,目的是增大感受野

消融实验结果

从实验结果来看,直接使用原始的4stage结构接检测头后精度下降8.9,多加两次下采样后精度提升9.5。且从可视化效果来看额外的下采样使感受野确实增大了。

代码

1.2、稀疏体素删减

在backbone的第2个stage开头会有一个下采样,Voxelnext在下采样的时候计算体素的重要性,根据比例删掉不重要的体素。

重要性判断公式:直接计算体素所有通道特征的均值,然后经过一个sigmoid,输出的sorce作为重要程度。

消融实验:

前三次下采样使用删减策略,且删减比例为0.5.

代码

DynamicFocalPruningDownsample实现在pruning_block.py中。

二、稀疏体素高度压缩

进入检测head前,直接将F4、F5、F6体素压缩合并。

计算公式:

代码

三、稀疏预测head

与常规的3D目标检测head不同,Voxelnext直接使用稀疏的体素进行预测,训练的时候,靠近GT中心点的体素作为正样本,使用focal loss监督,可视化和统计发现,用来预测box的voxel不一定在box中心点,如下图

统计发现有72.8%的box的query voxel都不在中心点。

推理时使用sparse max pooling 代替NMS,具体过程是先对稀疏的Voxel预测一个score,再使用稀疏卷积的操作做max pooling,只保留max pool kernel里得分最高的voxel。


http://www.kler.cn/a/152610.html

相关文章:

  • WordPress:构建强大的网站和博客的完美选择
  • k8s ingress 无法找到端点
  • 机器学习的复习笔记3-回归的细谈
  • 芯片技术探索:了解构芯片的设计与制造之旅
  • 竞赛选题 题目:基于深度学习的人脸表情识别 - 卷积神经网络 竞赛选题 代码
  • docker-compose;私有镜像仓库harbor搭建;镜像推送到私有仓库harbor
  • 张秋民老师11月27号給中国工商银行讲授《公文写作》圆满结束
  • Redis(一):初始Redis
  • 企业数字化转型应对传统网络挑战的关键策略
  • QT线程的使用 循环中程序的等待
  • npm install报错常用解题思路
  • 震坤行:数字驱动食品农副行业采购的新兴趋势与实践
  • NoSql非关系型数据库
  • 【HTTP协议】简述HTTP协议的概念和特点
  • php爬虫实现把目标页面变成自己的网站页面
  • 大数据-之LibrA数据库系统告警处理(ALM-37017 数据库连接数超限)
  • 自动驾驶学习笔记(十一)——高精地图
  • 唯创知音WTN6系列语音芯片:高音频采样率与精细音量控制赋能广泛应用
  • 数据结构---堆
  • 勒索解密后oracle无法启动故障处理----惜分飞