3D目标检测数据集及评价指标

1. KITTI

一个前视双目数据集，附有雷达数据，主要用于单目3D目标检测模型。数据集根据遮挡将目标分为三档，分别是未遮挡Easy，半遮挡Mod.，和大部分遮挡Hard，一般模型检测指标都是根据这三类标签分别计算mAP。

mAP计算流程：

①根据一张图片中某一类的预测框的置信度由大到小进行排序；

②对每个预测框和GT计算IOU，只有大于阈值的会保留，如果GT对应多个预测框，只取IOU最大的那个，其余的作为FP，最后每个GT最多只对应一个预测框作为TP；

③计算召回率和精准率，Recall=TP/GT的个数(固定)，Precision=TP/TP+FP，根据置信度从大到小进行计算，所以是分子分母都会变化，而Recall分母不变，因而会保持不变或变大。

④绘制PR曲线，横坐标为Recall，纵坐标为Precision，曲线的面积为ap；

⑤对一张图片中不同的分类分别计算求平均得到mAP。

2. Nusence数据集

有六个环视摄像头和激光雷达，多用于环视3D目标检测。评价指标有：mAP、mATE、mASE、mAOE、mAVE、mAAE、NDS。

mAP：

在评测时依旧使用检测领域的AP，不过AP的阈值匹配不使用IoU来计算，而使用在地平面上的2D中心距离d来计算。这样解耦了物体的尺寸和方向对AP计算的影响。d设置为D={0.5,1,2,4}米，也就是说，将原来的IOU阈值改为平面d的阈值，只有小于d的才作为AP进行计算，在计算AP时，去除了低于0.1的recall和precision并用0来代替这些区域。

mATE：

Average Translation Error,平均平移误差(ATE) 是二维欧几里德中心距离(单位为米)。

mASE：

Average Scale Error, 平均尺度误差(ASE) 是1 - IoU, 其中IoU 是角度对齐后的三维交并比

mAOE：

Average Orientation Error.平均角度误差(AOE) 是预测值和真实值之间最小的偏航角差。(所有的类别角度偏差都在360∘度内, 除了障碍物这个类别的角度偏差在180∘ 内)

mAVE：

 Average Velocity Error.平均速度误差(AVE) 是二维速度差的L2 范数(m/s)。

mAAE：

Average Attribute Error,平均属性错误(AAE) 被定义为1−acc, 其中acc 为类别分类准确度。

NDS:

NDS一半基于检测性能（mAP），而另一半基于检测性能根据位置、大小、方向、属性和速度度量的检测质量（ATE,ASE,AOE,AVE,AAE）。由于mAVE、mAOE和mATE可以大于1，我们中将每个度量限制在0和1之间。