深度学习系列52:多目标跟踪
1. 评价指标
1)FP:False Positive,即真实情况中没有,但跟踪算法误检出有目标存在。
2)FN:False Negative,即真实情况中有,但跟踪算法漏检了。
3)IDS:ID Switch,目标ID切换的次数。
4)MOTA: Multiple Object Tracking Accuracy,多目标跟踪准确度。
5)IDF1: ID F1得分,正确身份标签赋予的检测框与平均ground truth和计算的检测数量的比值。
6)MT:Mostly Tracked,大多数目标被跟踪的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值大于等于80%的轨迹数量。
7)ML:Mostly Lost,大多数目标被跟丢的轨迹数量。目标被成功跟踪到的轨迹长度与轨迹总长度的比值小于等于20%的轨迹数量。
8)MOTP:Multiple Object Tracking Precision,多目标跟踪精度。表示得到的检测框和真实标注框之间的重合程度。
实际使用时,客户提出的指标有:
- uv准确率:经过ReID后统计出来的uv与实际人数的误差
- pv准确率:pv与实际经过人数的误差
- 轨迹准确率:随机抽样数个轨迹,轨迹中图片与封面是同一个人的百分比,然后取平均值
- 轨迹完整度:指定几个人,统计每个人检出的摄像头个数/总的摄像头个数,然后取平均值
- 图片利用率:系统展示所使用的图片数量/总的图片数量
2. 代表方法
分为三类:
2.1 检测后再跟踪
检测/识别/跟踪分开。
代表方法:SORT、DeepSORT
根据检测的结果,通过IoU、外观等奖前后两帧之间的目标关联,并通过匈牙利算法、贪婪算法等方法进行求解。
2.2 检测/识别与跟踪同时进行
代表方法:JDE、FairMOT、CenterTrack、ChainedTracker等。
检测/识别/跟踪在同一个模型中处理。
2.3 基于注意力机制的MOT
普通的key-query,效果是这样的:
使用transfomer,里面包含两个decoder,如下: