返回论文笔记资料库
arXiv 2022多目标跟踪论文笔记

BoT-SORT

防抖

原始论文

BoT-SORT: Robust Associations Multi-Pedestrian Tracking

论文作者

Nir Aharon · Roy Orfaig · Ben-Zion Bobrovsky

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2206.14651
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingbotsort2022,
  title = {{BoT-SORT: Robust Associations Multi-Pedestrian Tracking}},
  author = {Nir Aharon and Roy Orfaig and Ben-Zion Bobrovsky},
  year = {2022},
  eprint = {2206.14651},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2206.14651}
}
本页内容

ByteTrack 证明了,检测器够强的时候,卡尔曼滤波加 IoU 就能在 MOT17 上拿到 80.3 的 MOTA。

但「IoU 够用」的前提是,上一帧预测的框要和这一帧的检测框对得上。只要拍摄的人转个身、车子转个弯,画面里所有的东西都会一起移动,卡尔曼滤波预测的框就全部落在错的位置。行人自己根本没动,跟踪器却跟丢了一整群人。

以色列特拉维夫大学的 Nir Aharon、Roy Orfaig 和 Ben-Zion Bobrovsky 整理了 SORT 这一类跟踪器的几个老毛病,把对应的改进一个一个装到 ByteTrack 上。名字里的 BoT 是 bag of tricks,一整袋小技巧的意思。

定义问题

作者指出 SORT 类跟踪器的三个局限。

卡尔曼滤波的状态向量。 SORT 用 (xc,yc,s,a)(x_c, y_c, s, a):中心、面积、宽高比;DeepSORT 之后的多数跟踪器,包括 ByteTrack,改用 (xc,yc,a,h)(x_c, y_c, a, h):中心、宽高比、高度。这两种表示都是在估计宽高比,宽度得从宽高比搭配面积或高度推回来。作者发现,这样推出来的宽度常常不准,框对不上人。

相机的移动。 IoU 匹配完全依赖预测框的位置。相机一动,预测框和检测框的重叠就变小,造成 ID 切换或漏检。就算是固定相机,风吹或震动也会让画面晃动,在拥挤场景里一样会出问题。

IoU 和外观的取舍。 用 IoU 匹配,MOTA 通常比较好;用 re-ID 特征匹配,IDF1 通常比较好。两种线索怎么结合,才不会顾此失彼?

解决问题

原论文 Figure 2:BoT-SORT-ReID 的流程。在线跟踪部分:第 t 帧图像一路送进 YOLOX 检测器,另一路估计相邻两帧的相机运动,得到变换矩阵 A。高分检测送进外观特征提取器(SBS-S50);上一帧的轨迹经卡尔曼滤波预测后,再用 A 做相机运动补偿。第一次关联融合 IoU 与 re-ID;没匹配上的轨迹和低分检测做第二次关联,只用 IoU。最后进行轨迹管理:更新卡尔曼滤波与外观、建立新轨迹、删除不活跃的轨迹。下方虚线框是可选的离线后处理:轨迹插值。
原论文 Figure 2(Aharon 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

整体骨架就是 ByteTrack,高分框和所有轨迹做第一次关联,低分框和剩下的轨迹用 IoU 做第二次关联。BoT-SORT 在这个骨架上改了三个地方,加上 re-ID 的版本叫 BoT-SORT-ReID。

一、直接估计宽和高

作者把卡尔曼滤波的状态向量改成直接包含宽和高:

xk=[xc,yc,w,h,x˙c,y˙c,w˙,h˙]⊤zk=[zxc,zyc,zw,zh]⊤\begin{aligned} \mathbf{x}_k &= [x_c, y_c, w, h, \dot{x}_c, \dot{y}_c, \dot{w}, \dot{h}]^\top \\ \mathbf{z}_k &= [z_{x_c}, z_{y_c}, z_w, z_h]^\top \end{aligned}

噪声矩阵沿用 DeepSORT 的思路,让噪声随框的大小缩放,但改成分别跟着宽和高走:

Qk=diag((σpw^)2,(σph^)2,(σpw^)2,(σph^)2,(σvw^)2,(σvh^)2,(σvw^)2,(σvh^)2)\begin{aligned} Q_k = \text{diag}\big(&(\sigma_p \hat{w})^2, (\sigma_p \hat{h})^2, (\sigma_p \hat{w})^2, (\sigma_p \hat{h})^2, \\ &(\sigma_v \hat{w})^2, (\sigma_v \hat{h})^2, (\sigma_v \hat{w})^2, (\sigma_v \hat{h})^2\big) \end{aligned} Rk=diag((σmw^)2,(σmh^)2,(σmw^)2,(σmh^)2)R_k = \text{diag}\big((\sigma_m \hat{w})^2, (\sigma_m \hat{h})^2, (\sigma_m \hat{w})^2, (\sigma_m \hat{h})^2\big)

σp=0.05\sigma_p = 0.05、σv=0.00625\sigma_v = 0.00625、σm=0.05\sigma_m = 0.05,分别就是 DeepSORT 代码里的 1/20 和 1/160。

原论文 Figure 3:三个行人的框形比较。蓝色虚线是常用的 DeepSORT 式卡尔曼滤波估计的框,绿色实线是 BoT-SORT 的卡尔曼滤波估计的框。红色椭圆圈出蓝框切过行人脚的位置;绿框的宽度则覆盖了整个人。
原论文 Figure 3(Aharon 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

这张图里,蓝色虚线框把行人的脚切掉了,绿色框则把整个人包了进去。走路时脚步张开又合拢,宽度变化很大,从宽高比推回来的宽度跟不上。

作者在论文里很坦白,这个改动确实让 HOTA 上升,但严格来说,他们也不清楚原因,只能推测是框的宽度更贴合物体。

二、相机运动补偿(CMC)

在没有 IMU 或导航信息、也不知道相机内参的情况下,相邻两帧之间的图像配准,是相机刚体运动投影到图像平面上的一个好近似。

作者沿用 OpenCV 视频稳定模块里的全局运动补偿(Global Motion Compensation, GMC):

  1. 在上一帧提取图像关键点。
  2. 用稀疏光流把这些关键点跟踪到这一帧,并剔除局部的离群点。
  3. 用 RANSAC 估计一个 2×32 \times 3 的仿射矩阵:
Ak−1k=[M2×2∣T2×1]A^k_{k-1} = [M_{2\times2} \mid T_{2\times1}]

MM 是缩放和旋转,TT 是平移。作者也提到,检测框所在的区域是动态物体,可以在估计时排除,让估计只反映背景的运动。

有了 AA,就把卡尔曼滤波的预测搬到新的坐标系。作者用了一个小技巧,把 MM 摆成 8×88 \times 8 的分块对角矩阵 M~\tilde{M},把 TT 补零成 8 维的 T~\tilde{T}(只有中心位置那两维有值):

x^k∣k−1′=M~k−1k x^k∣k−1+T~k−1kPk∣k−1′=M~k−1k Pk∣k−1 M~k−1k⊤\begin{aligned} \hat{\mathbf{x}}'_{k|k-1} &= \tilde{M}^k_{k-1}\, \hat{\mathbf{x}}_{k|k-1} + \tilde{T}^k_{k-1} \\ P'_{k|k-1} &= \tilde{M}^k_{k-1}\, P_{k|k-1}\, \tilde{M}^{k\top}_{k-1} \end{aligned}

我们拆开看这条式子对状态向量做了什么。八维状态可以两两分组:中心 (xc,yc)(x_c, y_c)、宽高 (w,h)(w, h)、中心速度 (x˙c,y˙c)(\dot{x}_c, \dot{y}_c)、宽高速度 (w˙,h˙)(\dot{w}, \dot{h})。M~\tilde{M} 对每一组都乘上同一个 MM,所以相机一旋转,中心、框的大小和速度方向都跟着转;T~\tilde{T} 只加在中心上,因为相机平移只会让物体的位置移动,不会改变它的大小或速度。协方差也一起变换,让滤波器的不确定性跟着新的坐标系走。

补偿完的预测,才拿去和这一帧的检测做 IoU 匹配。

原论文 Figure 4:MOT17-13 序列中,车载相机右转时的预测框。(a.1) 与 (b.1) 是补偿前卡尔曼滤波的预测框,明显偏离画面中行人的位置;(a.2) 与 (b.2) 是相机运动补偿后的预测框,落回行人身上。
原论文 Figure 4(Aharon 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

这是 MOT17-13 的画面,相机架在一辆正在右转的车上。补偿前,预测框整排偏到行人旁边,IoU 匹配一定失败;补偿后,框落回人身上。

三、IoU 与 re-ID 的融合

外观特征用 FastReID 库里的 SBS(stronger baseline on top of BoT),骨干是 ResNeSt50。和 StrongSORT 一样,每条轨迹的外观用 EMA 更新,α=0.9\alpha = 0.9。为了避免被遮挡或模糊的框污染外观,只有高分检测才提取特征。

常见的做法是把外观距离和运动距离加权相加,FairMOT 和 StrongSORT 都用 C=0.98Aa+0.02AmC = 0.98 A_a + 0.02 A_m。作者改用另一种组合:先过滤,再取最小值。

d^i,jcos={0.5⋅di,jcos,若 di,jcos<θemb 且 di,jiou<θiou1,其他\hat{d}^{cos}_{i,j} = \begin{cases} 0.5 \cdot d^{cos}_{i,j}, & \text{若 } d^{cos}_{i,j} < \theta_{emb} \text{ 且 } d^{iou}_{i,j} < \theta_{iou} \\ 1, & \text{其他} \end{cases} Ci,j=min⁡{di,jiou, d^i,jcos}C_{i,j} = \min\{d^{iou}_{i,j},\ \hat{d}^{cos}_{i,j}\}

dioud^{iou} 是 IoU 距离(1 减 IoU),dcosd^{cos} 是轨迹外观和检测特征的余弦距离。θiou=0.5\theta_{iou} = 0.5,θemb=0.25\theta_{emb} = 0.25。

这个式子读起来有点绕,我们用三组轨迹和检测框代进去看:

  1. 位置近、长得像。 IoU 是 0.7,所以 diou=0.3d^{iou} = 0.3;余弦距离 0.1。两个条件都成立,d^cos=0.05\hat{d}^{cos} = 0.05,代价取较小的 0.05。外观和位置都同意,代价压得很低,这一对几乎一定会匹配上。
  2. 位置近、长得不像。 IoU 0.8,diou=0.2d^{iou} = 0.2;余弦距离 0.4,超过 0.25。外观不算数,d^cos=1\hat{d}^{cos} = 1,代价取 0.2。外观没有扣分,只是不帮忙,匹配完全看 IoU。
  3. 长得像、位置远。 IoU 0.3,diou=0.7d^{iou} = 0.7,超过 0.5;余弦距离 0.05。位置太远,外观也不算数,代价取 0.7。

外观只有在「位置也说得过去」的时候才能帮忙压低代价。长得像但离得很远的人,不会因为穿了同样的衣服就被接起来。

θemb=0.25\theta_{emb} = 0.25 这个阈值,是作者在 MOT17 验证集上画出同一人与不同人的外观距离分布后选的:同一人的距离集中在很小的范围,不同人则大多在更远的地方。

顺便一个调试工具:cMOTA

作者还提出一个分析工具,叫 current-MOTA。cMOTA(tk)\text{cMOTA}(t_k) 就是从第一帧算到第 tkt_k 帧为止的 MOTA;算到最后一帧,就是一般的 MOTA。

把它画成随时间变化的曲线,跟踪器在哪一段开始出错,一眼就看得到。

原论文 Figure 6:MOT17-13 验证片段中相机右转的三个画面(第 395、445、495 帧),以及 current-MOTA 随帧数变化的曲线。红线是没有相机运动补偿的版本,在第 400 到 470 帧之间从约 92 一路掉到约 78,之后保持平稳;绿线是加上补偿的版本,转弯期间一直维持在 88 到 92 之间。
原论文 Figure 6(Aharon 等人),取自 PDF 第 8 页,arXiv 许可,学术引用。

红线在第 400 到 470 帧之间急速下降,对照上面的画面,正好是相机转弯的那一段。加上相机运动补偿后,绿线几乎没有掉。

讨论

检测器直接用 ByteTrack 公开的 YOLOX 权重,re-ID 模型是 FastReID 的 SBS-50,训练 60 个 epoch。跟踪参数沿用 ByteTrack:分数阈值 0.6、相似度低于 0.2 拒绝匹配、丢失轨迹保留 30 帧。为了公平比较,也和 ByteTrack 一样使用最大间隔 20 帧的线性插值。实验在一张 RTX 3060 上跑。

每一项改动的贡献

原论文 Table 1:MOT17 验证集上的消融。以复现的 ByteTrack 为基线,MOTA 77.66、IDF1 79.77、HOTA 67.88;加上新的卡尔曼滤波为 77.67、79.89、68.12;再加相机运动补偿为 78.31、81.51、69.06;再加预测输出(BoT-SORT)为 78.39、81.53、69.11;再加 re-ID(BoT-SORT-ReID)为 78.46、82.07、69.17。
原论文 Table 1(Aharon 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

表中的 Pred 是另一个小改动。在高帧率视频中,轨迹短暂没匹配到检测时,用卡尔曼滤波的预测框继续输出,而不是让它消失。

从基线一路加上去:

  • 新的卡尔曼滤波: HOTA +0.24,MOTA 和 IDF1 几乎不变。
  • 相机运动补偿: MOTA +0.64、IDF1 +1.62、HOTA +0.94,是四项中最大的一步。
  • 预测输出: 三项都只多一点点。
  • re-ID: IDF1 再 +0.54,MOTA 和 HOTA 小幅上升。

从 ByteTrack 到 BoT-SORT-ReID,HOTA 多了约 1.3,IDF1 多了约 2.3,其中超过一半来自相机运动补偿。

作者也比较了第一次关联该怎么用外观特征。只用 IoU 是 MOTA 78.4、IDF1 81.5、HOTA 69.1;只用余弦距离掉到 73.7、70.0、62.4;JDE 式的「外观距离加卡尔曼滤波门控」是 77.7、80.1、68.2;用 IoU 过滤后只看余弦距离是 78.3、81.0、68.7。除了作者提出的融合方式(78.5、82.1、69.2),其他用到 re-ID 的做法都输给单纯的 IoU。作者因此建议,资源有限的应用,只用 IoU 就是不错的选择。

排行榜

MOT17 测试集上:

  • BoT-SORT:MOTA 80.6、IDF1 79.5、HOTA 64.6。
  • BoT-SORT-ReID:MOTA 80.5、IDF1 80.2、HOTA 65.0。

作者说,BoT-SORT-ReID 是第一个在 MOT17 上 IDF1 超过 80 的跟踪器。和 ByteTrack 的 80.3、77.3、63.1 相比,MOTA 差不多,IDF1 和 HOTA 都明显提升;ID 切换从 ByteTrack 的 2196 次降到 1212 次。

MOT20 测试集上,BoT-SORT-ReID 是 MOTA 77.8、IDF1 77.5、HOTA 63.3;ByteTrack 是 77.8、75.2、61.3。MOTA 持平,IDF1 和 HOTA 一样有进步。

速度是代价。表中 BoT-SORT 在 MOT17 上是 6.6 FPS,BoT-SORT-ReID 是 4.5 FPS,ByteTrack 则是 29.6 FPS。不过作者也提醒,各方法测速度的硬件不同,大多也不计入检测时间,FPS 很难直接比较。

作者承认的局限

  1. 相机运动补偿可能失败。 画面里动态物体太多时,背景的关键点不够,相机运动估计就会出错;错的补偿可能让跟踪器做出预期之外的行为。
  2. 计算时间。 大尺寸图像的全局运动估计很花时间。作者认为,和检测器的推理时间相比,这部分可以忽略,也可以用多线程并行计算。
  3. 外观特征让跟踪器变慢。 他们只对高分检测提取特征来降低开销;必要时,也可以把特征提取并进检测器的输出头,改成 JDE 那种联合架构。

后来

BoT-SORT 后来成了 Ultralytics YOLO 跟踪模块的默认跟踪器,另一个选项是 ByteTrack。Ultralytics 的文档建议,手持、航拍或车载这类移动相机的视频用 BoT-SORT;只求速度、相机固定的话,ByteTrack 的负担最小。它的配置文件把相机运动估计做成可替换的选项,默认是稀疏光流,也能换成 ORB、SIFT、ECC 或关闭;re-ID 则是可选项。

Roboflow 的跟踪器文档也给了类似的建议,移动相机要开相机运动补偿,固定相机若需要最快的速度可以关掉;在缺乏纹理的背景上,基于稀疏特征的运动估计可能不可靠。这和论文自己写的第一个局限是同一件事。

结论

卡尔曼滤波直接估计宽和高,预测框跟着相机一起搬,IoU 和外观先过滤、再取最小,BoT-SORT 在 ByteTrack 上就做了这三件事。消融显示,最大的一步是相机运动补偿;再加上 re-ID 的 BoT-SORT-ReID,MOT17 的 IDF1 越过了 80。

手机、无人机或车上拍的视频,相机运动补偿大概是最该先打开的开关。监控摄像头固定在墙上不动的话,就把它关掉,把那几毫秒留给检测器吧!