返回论文笔记资料库
arXiv 2024ACCV Workshops 2024多目标跟踪论文笔记

GTA

侠盗猎车手

原始论文

GTA: Global Tracklet Association for Multi-Object Tracking in Sports

论文作者

Jiacheng Sun · Hsiang-Wei Huang · Cheng-Yen Yang · Zhongyu Jiang · Jenq-Neng Hwang

发表版本
ACCV Workshops 2024研讨会(Workshop)
arXiv 首次提交
arXiv:2411.08216
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackinggta2024,
  title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
  author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2411.08216},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2411.08216}
}
本页内容

Deep-EIoU 的论文最后坦白了一个局限。它没有离线的轨迹修正,球员离开画面一段时间再回来,就认不出来了。

一年多后,同一个实验室的 Jiacheng Sun、Hsiang-Wei Huang、Cheng-Yen Yang、Zhongyu Jiang 和 Jenq-Neng Hwang 补上了这一块。这里的 GTA 是 Global Tracklet Association 的缩写,和那款游戏无关。它也不是一个新的跟踪器,而是一个后处理工具,等在线跟踪器跑完整段视频,再回头把轨迹拆开、接起来。

它可以接在任何跟踪器后面。作者试了 SORT、ByteTrack 和 Deep-EIoU,三者的成绩都提升了。

定义问题

作者把运动员跟踪中最常见的错误分成两种。

一条轨迹,好几个人

第一种是混入错误(mix-up)。球员动作不规则,又常常互相遮挡,在线跟踪器在某一刻把框配错了人,之后就顺着错下去,一条轨迹里混进了好几个球员。

原论文 Fig. 3:在线跟踪器输出的一条轨迹,实际上包含三个不同的球员。紫色框是穿黄色 12 号球衣的球员,绿色框是另外几个穿黄色球衣的球员,红色框是穿深色 24 号球衣的球员。中间的点是这条轨迹每个框的 ReID 特征,经 DBSCAN 聚类后,分成紫、绿、红三簇。
原论文 Fig. 3(Sun 等人),取自 PDF 第 3 页,arXiv 许可,学术引用。

这张图是一个真实的例子。同一个 ID 底下,先是穿黄色 12 号的球员,接着换成另一个穿黄色球衣的人,最后跑到穿深色 24 号的对手身上。把这条轨迹每个框的外观特征画出来,可以看到它们自然分成了三簇。

一个人,好几条轨迹

第二种是断裂错误(cut-off)。行人跟踪数据集里的人,走出画面通常就不回来了;球员却常常跑出镜头,过一阵子又回来。在线跟踪器给他一个新 ID,同一个人就被切成好几段。

原论文 Fig. 4:同一个球员的轨迹被切成四段,纵轴是轨迹 ID,横轴是帧号。四段分别出现在第 1 到 34 帧、第 38 到 48 帧、第 581 到 623 帧、第 636 到 648 帧,每段都被分配了不同的 ID。
原论文 Fig. 4(Sun 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。

这个球员在第 48 帧离开,到第 581 帧才回来,中间隔了 500 多帧,按每秒 25 帧计算超过 20 秒。把丢失轨迹的保留时间加长,可以处理短暂的离开,但这么长的空白,在线跟踪器很难等得到。

处理断裂错误,过去已经有不少「全局连接」的方法:TransLink 用网络学习判断两段轨迹是否属于同一人;StrongSORT 的 AFLink 只看时间和位置;也有方法用特征聚类、运动特征或移动方向来连接。GTA 则以每个框的外观特征为单位,一次处理两种错误:先拆、再接。

解决问题

开始之前,先用一个在 SportsMOT 上训练的 OSNet ReID 模型,为在线跟踪结果里的每一个框提取外观特征。

拆分器:一条轨迹里有几个人?

拆分器处理混入错误。对每一条轨迹,把它所有框的特征拿出来,用 DBSCAN 聚类。

DBSCAN 是一种基于密度的聚类算法:在某个点的半径 ϵ\epsilon 以内,如果有足够多的邻居,这一片就形成一簇;落在稀疏地带、凑不成一簇的点,标为离群点。这里的距离用的是特征的余弦距离。

作者对它做了两处修改:

  1. 离群点也要有归属。 原本的 DBSCAN 会把离群点丢掉,但这里每一个框都是真实的检测结果,不能丢。所以聚类结束后,把每个离群点归到最近的那一簇。
  2. 簇数有上限。 如果分出来的簇超过 kk 个,就不断合并最接近的两簇,直到剩下 kk 簇,避免一条轨迹被拆得太碎。

三个超参数中,形成一簇的最少样本数 s=5s = 5,邻居半径 ϵ=0.6\epsilon = 0.6,最多簇数 k=3k = 3。分出几簇,这条轨迹就拆成几段,每段给一个新的 ID。官方代码默认只拆长度至少 100 帧的轨迹,太短的轨迹特征不够多,直接保留。

连接器:哪些轨迹是同一个人?

拆完之后,连接器处理断裂错误,把属于同一人的轨迹接起来。

原论文 Fig. 6:轨迹连接器的流程。左边是 N 条轨迹,先经 ReID 模型提取每条轨迹的特征,计算 N × N 的距离矩阵,从中找出距离最小的一对,检查空间约束后合并,更新特征,轨迹数变成 N − 1,重复这个过程,输出右边合并后的轨迹。
原论文 Fig. 6(Sun 等人),取自 PDF 第 6 页,arXiv 许可,学术引用。

第一步,算距离。 对任意两条轨迹 TiT_i、TjT_j,先看它们出现的帧 Πi\Pi_i、Πj\Pi_j。如果有重叠(Πi∩Πj≠∅\Pi_i \cap \Pi_j \ne \emptyset),两条轨迹在同一帧同时出现,就不可能是同一个人,距离直接设成最大值 1。

没有重叠的话,距离是两条轨迹所有框两两之间余弦距离的平均。记两个特征的余弦距离为

d(a,b)=1−a⋅b∥a∥ ∥b∥d(a, b) = 1 - \frac{a \cdot b}{\lVert a \rVert\,\lVert b \rVert}

则

Di,j=1NiNj∑m∈Πi∑n∈Πjd(Fmi,Fnj)D_{i,j} = \frac{1}{N_i N_j} \sum_{m \in \Pi_i} \sum_{n \in \Pi_j} d\left(F^i_m, F^j_n\right)

NiN_i 是轨迹 TiT_i 的长度,FmiF^i_m 是它在第 mm 帧的特征。一条轨迹有 300 个框、另一条有 200 个框,就要算 6 万组距离再取平均。

第二步,加上空间约束。 作者假设镜头位置固定,球员的活动范围被场地边界限制,不会从场地一边离开、又从另一边进来。所以前一段轨迹的离开位置,和下一段轨迹的进入位置,不能差太远:

θhor=β Δmax,hor,θver=β Δmax,ver\theta_{\text{hor}} = \beta\,\Delta_{\text{max,hor}}, \qquad \theta_{\text{ver}} = \beta\,\Delta_{\text{max,ver}}

Δmax\Delta_{\text{max}} 是整段视频里所有框中心的最大水平、垂直跨度,β\beta 介于 0 和 1 之间。两段轨迹的离开点和进入点,水平或垂直距离只要有一项超过阈值,距离就设成 1。

第三步,层次合并。 每次挑出距离最小的一对轨迹,只要它的距离小于阈值 α=0.4\alpha = 0.4,就合并成一条,再重新计算这条新轨迹和其他轨迹的距离。官方代码在合并前才检查空间约束,不符合的那一对就不再考虑。重复这个过程,直到没有任何一对的距离小于 α\alpha。

讨论

检测不变,关联变好

SportsMOT 上,检测沿用 Deep-EIoU 的 YOLOX;SoccerNet 则用 2023 年版本的测试集,直接使用真值框。

跟踪器HOTAAssAIDF1DetAID 切换
SORT56.342.758.874.35,180
+GTA66.559.677.474.33,547
ByteTrack63.551.870.877.83,147
+GTA69.762.683.277.72,107
Deep-EIoU77.267.679.888.22,909
+GTA81.074.586.588.22,737

整理自原论文 Table 1,SportsMOT 测试集。

  1. DetA 几乎没变。 GTA 不新增也不删除任何框,只改框的 ID,所以检测的分数不动,提升全部来自关联。
  2. 越弱的跟踪器,提升越多。 SORT 的 HOTA 多了 10.2 分,ByteTrack 多 6.2 分,Deep-EIoU 多 3.8 分。加了 GTA 的 SORT(66.5),已经超过没加的 ByteTrack(63.5)。
  3. IDF1 的提升特别大。 SORT 多了 18.6 分,ByteTrack 12.4 分,Deep-EIoU 6.7 分。IDF1 在整段视频上匹配身份,把断掉的轨迹接回来,正是它最在意的事。
  4. Deep-EIoU 加上 GTA 达到 81.0 的 HOTA,是作者发表时 SportsMOT 上的最佳成绩。

SoccerNet 上的趋势相同:SORT、ByteTrack、Deep-EIoU 的 HOTA 分别多了 6.8、4.7、3.7 分,Deep-EIoU 从 79.4 升到 83.1。

这里的 79.4,和 Deep-EIoU 论文自己报告的 85.4 不一样,因为 GTA 用的是 2023 年版本的 SoccerNet 测试集,Deep-EIoU 论文用的是 2022 年的版本。两篇论文的 SoccerNet 数字不能直接比。

拆和接,哪个重要

跟踪器原始只接拆+接
SORT56.365.466.5
ByteTrack63.569.569.7
Deep-EIoU77.280.581.0

整理自原论文 Table 3,SportsMOT 测试集,HOTA。

大部分的提升来自连接器。以 Deep-EIoU 为例,总共的 3.8 分里,连接器贡献了 3.3 分,拆分器再加 0.5 分。换句话说,在体育场景里,断裂错误远比混入错误常见,或者至少更容易被修正。

拆分器的作用也不是可有可无。在 SoccerNet 上,ByteTrack 只用连接器时 IDF1 是 78.2,加上拆分器后升到 82.7。先把混在一起的轨迹拆干净,连接器才不会把错的人一起接过去。

没有写出来的代价

GTA 是离线方法,需要整段视频的跟踪结果才能开始,所以适合赛后分析,不适合实时转播。论文也没有报告运行时间;从距离的定义来看,每一对轨迹都要算所有框之间的距离,视频越长、轨迹越多,计算量增长得越快。这一点要自己评估。

另外,整个方法的效果取决于 ReID 特征的质量。这篇用的 OSNet 是在 SportsMOT 上训练的,换到其他运动或其他转播风格,可能需要重新训练。

结论

GTA 把运动员跟踪的错误分成两种,一条轨迹混了好几个人,或是一个人被切成好几条轨迹。它用 DBSCAN 把前者拆开,用外观距离加上时间、空间约束把后者接回来。不改任何框,只改 ID,就让三个不同的跟踪器在 SportsMOT 和 SoccerNet 上都稳定提升,其中又以连接器的贡献最大。

这个组合后来也被别人拿去用了。2026 年初,另一个团队以 Deep-EIoU 做在线关联、GTA 做轨迹层级的修正,在用固定鱼眼镜头拍摄的 SoccerTrack Challenge 2025 上拿下第一名。

在线跟踪器在比赛当下只能尽力去追;等比赛结束,再回头把轨迹拆开、重新接好,也是一种解法。