ByteTrack多目标跟踪（一）—理论基础

ByteTrack多目标跟踪

算法概述

github: https://github.com/ifzhang/ByteTrack

ByteTrack是一种基于Tracking-by-Detection范式的多目标跟踪算法。

先前的多目标追踪算法一般在完成当前帧的目标检测后只会保留置信度比较大的检测框用于进行目标跟踪，比如图中置信度为0.9和0.8的目标框。而在ByteTrack中，作者保留了所有的检测框并且通过阈值将它们分成了高置信度检测框和低置信度检测框。ByteTrack 可以有效解决一些遮挡，且能够保持较低的 ID Switch。因为目标会因为被遮挡检测置信度有所降低，当重新出现时，置信度会有所升高。

1. 当目标逐渐被遮挡时，跟踪目标与低置信度检测目标匹配。
2. 当目标遮挡逐渐重现时，跟踪目标与高置信度检测目标匹配。

整个算法的代码实现包括了两个最重要的类，来控制整个算法的流程。

STrack class

BYTETrack class

ByteTrack原理

ByteTrack解决了多目标跟踪中的一个重要问题，即低分检测框的处理。

• 传统的跟踪方法通常只关联高分检测框，而低分检测框通常被忽略，这会导致一些真实的目标被漏检或者
  跟踪轨迹被碎片化。
• ByteTrack通过关联几乎每个检测框，包括低分检测框，利用它们与轨迹片段的相似性来恢复真实目标并
  过滤掉背景检测，从而提高了检测器的性能。

对论文中的原理图进行说明：

1. a:第一部分是使用目标检测器对不同帧中的人进行检测和识别，在不同的帧中会出现 由于互相的遮挡导致行人检测的置信度降低，若置信度小于0.5时则不会对其进行跟踪(跟踪的忽略)从而导致跟踪的失败。也就是图b出现的情况。
2. 若在跟踪的过程中也考虑到目标检测时的低分框，则通过算法的改进之后则可以预测出 遮挡人物的位置信息，从而完成对目标的跟踪。
3. 通过对低分框的处理提高了目标跟踪算法的性能指标。

根据论文中的实验：整个算法包括了两次数据关联，第一次的数据关联可以采用IOU关联或者采用Re-ID特征进行关联。第二次的数据关联（也就是对低分框进行数据的关联）根据实验的结果更推荐使用IOU的方式来进行关联。

关联方法

1. 根据目标框的置信度把检测分为高置信度目标框和低置信度目标框。

2. 第一次把高置信度目标框与之前的跟踪轨迹进行匹配。

3. 第二次使用低置信度目标框与第一次没有匹配上高置信度目标框的跟踪轨迹进行匹配。

4. 对于没有匹配上跟踪轨迹而置信度又足够高的目标框，为其新建一个跟踪轨迹。对于没有匹配上目标框的跟踪轨迹会保留30帧，可以再次进行匹配。

工作机理：

遮挡常导致检测得分由高到低缓慢变化,被遮挡物体在被遮挡之前是可视物体,检测分数较高,可以建立跟踪ID；当物体被遮挡时,通过检测框与轨迹的位置重合度把被遮挡的物体从低分框中挖掘出来,从而保持跟踪ID的连贯性。

ByteTrack论文解析

论文中提到了跟踪方法的思想：在跟踪方法中每一个检测框相当于是在计算机程序中的字节一样是一个核心的基本单位。

we present a simple and effective association method BYTE, named for each detection box is a basic unit of the tracklet, as byte in computer program

整个算法和DeepSort算法一样也是依据Tracking-by-Detection（基于检测的方法）的步骤来进行跟踪算法的实现的

• 视频序列输入
• 目标检测器
• 特征提取
• 数据关联
• 轨迹管理

等一系列的步骤构成了Tracking-by-Detection算法的实现流程。

状态转移图

当一个track初始化的时候，当前的状态处于new状态，当该track没有任何的detection匹配成功之后转变为removed状态，匹配成功时则会位于tracked(匹配状态)。

依据连续帧的匹配状态在tracked(匹配状态)和Lost(失配状态)之间进行转换。

lost状态连续超过30次之后则会转变为Removed状态。

根据论文中的介绍，我们在考虑低得分框从而提升了整个跟踪算法性能的同时，这种考虑低得分框的方法其实也会出现一些问题。

例如在论文的图a中出现的置信度为0.1的得分框并不是真实的人物而是出现的 误判框将其参与到跟踪的算法中则会产生一些问题。（错误的跟踪）

论文中介绍了处理低得分检测框的一些方法：对于低得分的检测框使用轨迹相似度的方法来提供了一种强有力的与背景信息区分的方法。使得背景框被去除（没有匹配的轨迹）

高得分的检测框同样采用的时之前使用到的使用 运动特征和外观相似度的方法来进行匹配。

论文创新点

The innovation of BYTE lies in the junction area of detection and association, where low score detection boxes are bridges to boost both of them.

在检测和数据关联之间考虑到了junction area的问题。

ByteTrack算法流程

一阶段匹配

高分检测框的匹配

byteTrack算法在匹配的时候主要分为两步 第一：对高得分的检测框，通过卡尔曼滤波器更新对应的状态，同时使用匈牙利算法将其与跟踪器进行匹配。对于已经匹配到的跟踪器将该追踪器的状态设置为激活状态。

第二：对于没有匹配到的检测目标，为其设置新的追踪器（并将追踪器的状态设置为new状态）

第三：将剩余的没有匹配到的追踪器—定义为remain状态 与小于某一个阈值低分检测框，进行第二次的匹配的操作。

二阶段匹配

低分检测框的匹配

第一：将低分检测框，与还没有匹配的追踪器之间（Remain Track）之间采用相同的方式进行匹配操作。

第二：对于第二次中匹配的候选框，将其状态改为激活态（update）跟踪器变为激活态。

第三：第二次匹配中还是没有匹配成功的追踪器（Track）将其状态从（Remain Track）转变状态为（Re-remain状态）

第四：若追踪器保持（Re-remain状态）超过30帧之后，将其状态变为Lost状态，跟踪算法失去对该检测框的跟踪。