返回论文笔记资料库
arXiv 2023WACV Workshops 2024多目标跟踪论文笔记

Deep-EIoU

再见了,卡尔曼

原始论文

Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports

论文作者

Hsiang-Wei Huang · Cheng-Yen Yang · Jiacheng Sun …

查看全部 8 位作者

Hsiang-Wei Huang · Cheng-Yen Yang · Jiacheng Sun · Pyong-Kun Kim · Kwang-Ju Kim · Kyoungoh Lee · Chung-I Huang · Jenq-Neng Hwang

发表版本
WACV Workshops 2024研讨会(Workshop)
arXiv 首次提交
arXiv:2306.13074
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingdeepeiou2023,
  title = {{Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports}},
  author = {Hsiang-Wei Huang and Cheng-Yen Yang and Jiacheng Sun and Pyong-Kun Kim and Kwang-Ju Kim and Kyoungoh Lee and Chung-I Huang and Jenq-Neng Hwang},
  year = {2023},
  eprint = {2306.13074},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.13074}
}
本页内容

SportsMOT 那篇有一张消融表很让人在意。同样是用 IoU 关联,先用卡尔曼滤波预测位置的版本,HOTA 是 64.1;不预测、直接拿轨迹上一帧的框去比,反而是 71.5。

如果预测只会帮倒忙,那何必预测?

华盛顿大学 Jenq-Neng Hwang 实验室的 Hsiang-Wei Huang、Cheng-Yen Yang、Jiacheng Sun,和韩国电子通信研究院(ETRI)、台湾国家高速网络与计算中心的合作者,提出了 Deep-EIoU。它把卡尔曼滤波整个拿掉,改用一个撑得很大的框来找人,再加上外观特征分辨是谁。

这个方法在 SportsMOT 上拿到 77.2 的 HOTA,比 SportsMOT 论文里最好的方法高出 3 分。

定义问题

作者列出体育场景难跟踪的三个原因:

  1. 遮挡严重。 比赛的对抗很激烈,球员常常挤成一团、互相挡住,比行人跟踪严重得多。
  2. 外观相似。 同一队的球员穿一样颜色的球衣。
  3. 动作无法预测。 篮球的胯下运球、足球的铲球、排球的扣杀,速度和方向都会在一瞬间改变。

主流的跟踪器,不管是融合外观和运动的,还是只靠运动的,大多用卡尔曼滤波预测位置。卡尔曼滤波假设线性运动和高斯噪声,物体的运动一旦不符合,预测就会偏。OC-SORT 试着修补卡尔曼滤波;C-BIoU 用平均位移取代它,再把框撑大来弥补估计误差。

Deep-EIoU 更进一步,连运动估计都不做了。

解决问题

原论文 Figure 4:Deep-EIoU 的流程。视频的每一帧先经过 YOLOX 检测,检测框再送进 ReID 模型提取外观特征。检测按置信度分成高分和低分。高分检测先扩张框,用 EIoU 和 ReID 关联,并以 Iterative Scale-Up 逐步加大扩张比例重复关联;剩下没匹配上的检测,同样扩张后用 EIoU 和 ReID 再匹配一次;低分检测扩张后只用 EIoU 关联。
原论文 Figure 4(Huang 等人),取自 PDF 第 3 页,CC BY 4.0。

整体仍是先检测、再关联的架构,只用过去和现在的信息,可以在线运行。每一帧先用 YOLOX 检测球员,再用 ReID 模型提取每个框的外观特征,接着算出轨迹和检测之间的代价,交给匈牙利算法匹配。

和一般跟踪器最大的差别,在于轨迹用来比对的那个框。Deep-EIoU 不预测轨迹这一帧会在哪里,直接拿轨迹最后一次被看到的框,和新的检测比。

撑得很大的框

位置的部分,用的是扩张 IoU(ExpansionIoU,EIoU)。作者说明这个想法来自 C-BIoU,但他们发现,在运动员身上,框要撑得更大才好。

扩张由比例 EE 控制。一个宽 ww、高 hh 的框,扩张长度是

w⋆=(2E+1) w,h⋆=(2E+1) hw^\star = (2E + 1)\,w, \qquad h^\star = (2E + 1)\,h

这个长度再分成两半,加到框的两侧:左上角往外移 (w⋆2,h⋆2)\left(\tfrac{w^\star}{2}, \tfrac{h^\star}{2}\right),右下角也一样。所以扩张后的框,宽和高都是原本的 2E+22E + 2 倍。官方代码的写法和这个定义一致。

默认的 E=0.7E = 0.7,框的宽高就变成原本的 3.4 倍,面积将近 12 倍。换算成 C-BIoU 的写法,相当于缓冲比例 1.2;C-BIoU 在 DanceTrack 上最好的缓冲只有 0.3 到 0.4。

我们沿用 C-BIoU 笔记里的例子来比较。一个宽 40、高 100 像素的球员,下一帧往右移了 50 像素,原本的 IoU 是 0:

扩张后的框同一人(50 px)邻居(70 px)邻居(100 px)
C-BIoU(b=0.3b = 0.3)64 × 1600.1200
Deep-EIoU(E=0.7E = 0.7)136 × 3400.460.320.15

本文整理的算例,两个框大小相同、高度对齐。

扩到这么大,球员就算瞬间移动了一个多身宽,也还找得到。代价也很明显,左右三个身宽以内的人,全都成了候选人。这时就得靠外观把人分开。

外观和位置怎么合起来

外观的代价是轨迹和检测特征向量的余弦距离:

CA=1−a⋅b∥a∥ ∥b∥C_A = 1 - \frac{a \cdot b}{\lVert a \rVert\,\lVert b \rVert}

很多方法会把外观代价和 IoU 代价加权相加,作者没有这样做,而是采用 BoT-SORT 的做法。先调整外观代价,如果 CA>τAC_A > \tau_A 或 CEIoU>τEIoUC_{EIoU} > \tau_{EIoU},调整后的外观代价 CA^=1C_{\hat{A}} = 1;否则 CA^=0.5 CAC_{\hat{A}} = 0.5\,C_A。第一阶段的代价再取两者中较小的那个:

Cstage1=min⁡(CA^, CEIoU)C_{\text{stage1}} = \min\left(C_{\hat{A}},\ C_{EIoU}\right)

这里 τA=0.25\tau_A = 0.25、τEIoU=0.5\tau_{EIoU} = 0.5。

外观要能派上用场,两者得长得够像,位置也要够近(EIoU 至少 0.5)。只要有一项不满足,外观代价就设成 1,相当于不参考外观;两项都满足时,外观代价再打对折。最后在外观和位置的代价里取较小的那个。

所以外观只能让本来就靠得近的匹配「更确定」,不能把两个离得远、只是长得像的人硬凑在一起。这在同队球员球衣都一样的情况下特别重要。

先匹配有把握的

匹配沿用 ByteTrack 的分层。置信度至少 0.6 的高分检测,通常比较少被遮住,外观特征也比较可靠,所以先拿高分检测和轨迹匹配,用的就是上面结合外观和 EIoU 的代价;置信度在 0.1 到 0.6 之间的低分检测,第二轮只用 EIoU 和剩下的轨迹匹配;低于 0.1 的直接丢掉。

另外,作者去掉了一般跟踪器对框的长宽比限制,因为球员可能倒在地上,不像行人大多是站着走路。丢失的轨迹保留 60 帧,比行人跟踪常用的 30 帧长,因为球场上的遮挡更严重。

逐步放大,不必调参

C-BIoU 的消融已经显示,缓冲比例是一个敏感的超参数。作者指出,实际的运动员跟踪系统很难调它:系统要在线实时运行,没办法事后反复实验;真实场景也拿不到测试数据的真值,根本无从找起。

于是他们不找最佳的 EE,而是在高分检测的匹配阶段,让 EE 从小到大逐步增加,重复匹配:

Et=Einitial+λtE_t = E_{\text{initial}} + \lambda t

tt 从 0 开始。第一轮用 EinitialE_{\text{initial}},把重叠最多、最有把握的匹配先配好;没匹配上的,下一轮用大一点的框再找。默认 Einitial=0.7E_{\text{initial}} = 0.7、步长 λ=0.1\lambda = 0.1,共两轮,也就是 0.7 和 0.8。

讨论

SportsMOT

检测器是 YOLOX-X,从 COCO 预训练权重开始,在 SportsMOT 的训练集和验证集上微调 80 个 epoch。ReID 模型用 OSNet,从行人重识别数据集 Market-1501 的权重开始,再用 SportsMOT 真值框裁出的 31,279 张球员图像微调。

方法训练数据HOTAAssADetAIDF1
BoT-SORT训练集68.755.984.470.0
OC-SORT训练集71.959.886.472.2
Deep-EIoU训练集74.163.187.275.0
OC-SORT训练+验证73.761.588.574.0
MixSort-OC训练+验证74.162.088.574.4
Deep-EIoU训练+验证77.267.788.279.8

整理自原论文 Table 2,SportsMOT 测试集。BoT-SORT 用官方代码重跑,其他基准数字取自 SportsMOT 论文。

用同样的训练数据比,Deep-EIoU 在两种设置下都是最好的。用训练加验证集时,HOTA 比 MixSort-OC 高 3.1 分,关联的 AssA 高 5.7 分;检测的 DetA 则差不多,甚至略低。差距几乎全部来自关联。

SoccerNet

SoccerNet-Tracking 有 201 段足球视频,每段 30 秒,要跟踪的不只是球员,还有守门员、裁判和球。为了只比跟踪,所有方法都直接使用数据集提供的真值框。

Deep-EIoU 的 HOTA 是 85.4,第二名的 OC-SORT 是 78.1,BoT-SORT 是 77.0,ByteTrack 和 DeepSORT 只有 71.5 和 69.6。

每个部件的贡献

设置HOTA
基准(只有 EIoU)71.4
+外观(ReID)75.3
+逐步放大77.2
+线性插值77.2

整理自原论文 Table 4,SportsMOT 测试集。

  1. 外观贡献最多,3.9 分。 虽然同队球员长得很像,外观仍是重要的线索。这和 SportsMOT 论文「相似但可分辨」的结论一致。
  2. 逐步放大再加 1.9 分。 作者也说明,这一步同时把丢失轨迹的保留时间从 30 帧延长到 60 帧,所以这 1.9 分是两者合起来的效果。
  3. 线性插值几乎没有影响,多不到 0.1 分。

只用 EIoU、没有外观的基准是 71.4,和 SportsMOT 论文里「不用卡尔曼的 IoU」那一行(71.5)很接近。两篇的检测器训练方式不同,只能粗略对照;从这组数字来看,单靠把框撑大,并没有比不预测的 IoU 好多少;Deep-EIoU 多出来的分数,主要来自外观和逐步放大。

扩张比例真的不用调吗

原论文 Figure 5:SportsMOT 测试集上,不同初始扩张比例的 HOTA(蓝)和 IDF1(红)。初始比例从 0.2 到 0.8,HOTA 依次为 76.3、76.5、76.8、76.8、76.8、77.2、76.8;IDF1 依次为 78.3、78.7、79.0、79.0、79.0、79.8、79.1。
原论文 Figure 5(Huang 等人),取自 PDF 第 6 页,CC BY 4.0。

作者把初始扩张比例从 0.2 改到 0.8,其他设置不变。HOTA 都在 76.3 到 77.2 之间,全部高于先前最好的 74.1。作者据此认为,逐步放大让这个方法不需要调参。

这张图也可以换个角度读。初始比例 0.2 时,两轮的扩张是 0.2 和 0.3,框的宽高放大到 2.4 到 2.6 倍;调到 0.7,放大到 3.4 到 3.6 倍,HOTA 也只多 0.9 分。在这个范围内,扩多大其实影响不大。

不过图上最小的扩张也有 2.4 倍,已经比 C-BIoU 的设置大。作者说「比 C-BIoU 扩得更大明显更好」,这张图并没有直接比较到;真正让 Deep-EIoU 拉开距离的,从消融表看,还是外观和逐步放大。

EIoU 也能帮卡尔曼滤波

最后,作者把 EIoU 直接放进两个基于卡尔曼滤波的跟踪器,预测框和检测框都先扩张再算 IoU。ByteTrack 的 HOTA 从 62.8 升到 67.5,BoT-SORT 从 68.7 升到 71.3。

所以 EIoU 不只适用于不预测的跟踪器,也可以当作一个即插即用的小技巧。但即使加了 EIoU,这两个卡尔曼跟踪器仍然输给什么都不预测的 Deep-EIoU。

局限

作者在论文里列了两个局限:

  • 没有离线的轨迹修正。 球员离开画面再回来,在线跟踪器很难认回来。作者提到可以加上后处理或更强的记忆机制,但这篇没有做。
  • 速度。 加上检测器和 ReID 模型,整套流程在一张 RTX 4080 上约每秒 14.6 帧,比只看运动的跟踪器慢;换成更轻量的检测器和 ReID 模型,可以加快。

结论

Deep-EIoU 在体育场景做了一个大胆的选择。它不预测球员下一帧会在哪里,只拿最后一次看到的位置,把框撑到 3.4 倍大去找人,再用外观把撑大后涌进来的候选人筛掉。外观只能让已经够近的匹配更确定,不能把远处长得像的人拉过来;扩张比例则从小到大试两轮,省去调参。

消融显示,三个设计里贡献最大的是外观,其次是逐步放大。只用 EIoU 的基准,和 SportsMOT 论文里不预测的 IoU 相差不远。

2025 年的一篇多目标跟踪综述,把 Deep-EIoU 描述为 C-BIoU 的推广,从固定两段扩张变成逐步放大,并在 SportsMOT 的比较表上列为第二,只输给综述作者自己的方法。综述也提醒,Deep-EIoU 只在 SportsMOT 和 SoccerNet 上评测过。

至于论文自己承认的第一个局限,球员出画面再回来认不得,同一个实验室在一年多后用 GTA 给出了回答。