GTA: Global Tracklet Association for Multi-Object Tracking in Sports
- 发表版本
- ACCV Workshops 2024研讨会(Workshop)
- arXiv 首次提交
- arXiv:2411.08216
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackinggta2024,
title = {{GTA: Global Tracklet Association for Multi-Object Tracking in Sports}},
author = {Jiacheng Sun and Hsiang-Wei Huang and Cheng-Yen Yang and Zhongyu Jiang and Jenq-Neng Hwang},
year = {2024},
eprint = {2411.08216},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2411.08216}
}
Deep-EIoU 的论文最后坦白了一个局限。它没有离线的轨迹修正,球员离开画面一段时间再回来,就认不出来了。
一年多后,同一个实验室的 Jiacheng Sun、Hsiang-Wei Huang、Cheng-Yen Yang、Zhongyu Jiang 和 Jenq-Neng Hwang 补上了这一块。这里的 GTA 是 Global Tracklet Association 的缩写,和那款游戏无关。它也不是一个新的跟踪器,而是一个后处理工具,等在线跟踪器跑完整段视频,再回头把轨迹拆开、接起来。
它可以接在任何跟踪器后面。作者试了 SORT、ByteTrack 和 Deep-EIoU,三者的成绩都提升了。
定义问题
作者把运动员跟踪中最常见的错误分成两种。
一条轨迹,好几个人
第一种是混入错误(mix-up)。球员动作不规则,又常常互相遮挡,在线跟踪器在某一刻把框配错了人,之后就顺着错下去,一条轨迹里混进了好几个球员。

这张图是一个真实的例子。同一个 ID 底下,先是穿黄色 12 号的球员,接着换成另一个穿黄色球衣的人,最后跑到穿深色 24 号的对手身上。把这条轨迹每个框的外观特征画出来,可以看到它们自然分成了三簇。
一个人,好几条轨迹
第二种是断裂错误(cut-off)。行人跟踪数据集里的人,走出画面通常就不回来了;球员却常常跑出镜头,过一阵子又回来。在线跟踪器给他一个新 ID,同一个人就被切成好几段。

这个球员在第 48 帧离开,到第 581 帧才回来,中间隔了 500 多帧,按每秒 25 帧计算超过 20 秒。把丢失轨迹的保留时间加长,可以处理短暂的离开,但这么长的空白,在线跟踪器很难等得到。
处理断裂错误,过去已经有不少「全局连接」的方法:TransLink 用网络学习判断两段轨迹是否属于同一人;StrongSORT 的 AFLink 只看时间和位置;也有方法用特征聚类、运动特征或移动方向来连接。GTA 则以每个框的外观特征为单位,一次处理两种错误:先拆、再接。
解决问题
开始之前,先用一个在 SportsMOT 上训练的 OSNet ReID 模型,为在线跟踪结果里的每一个框提取外观特征。
拆分器:一条轨迹里有几个人?
拆分器处理混入错误。对每一条轨迹,把它所有框的特征拿出来,用 DBSCAN 聚类。
DBSCAN 是一种基于密度的聚类算法:在某个点的半径 以内,如果有足够多的邻居,这一片就形成一簇;落在稀疏地带、凑不成一簇的点,标为离群点。这里的距离用的是特征的余弦距离。
作者对它做了两处修改:
- 离群点也要有归属。 原本的 DBSCAN 会把离群点丢掉,但这里每一个框都是真实的检测结果,不能丢。所以聚类结束后,把每个离群点归到最近的那一簇。
- 簇数有上限。 如果分出来的簇超过 个,就不断合并最接近的两簇,直到剩下 簇,避免一条轨迹被拆得太碎。
三个超参数中,形成一簇的最少样本数 ,邻居半径 ,最多簇数 。分出几簇,这条轨迹就拆成几段,每段给一个新的 ID。官方代码默认只拆长度至少 100 帧的轨迹,太短的轨迹特征不够多,直接保留。
连接器:哪些轨迹是同一个人?
拆完之后,连接器处理断裂错误,把属于同一人的轨迹接起来。

第一步,算距离。 对任意两条轨迹 、,先看它们出现的帧 、。如果有重叠(),两条轨迹在同一帧同时出现,就不可能是同一个人,距离直接设成最大值 1。
没有重叠的话,距离是两条轨迹所有框两两之间余弦距离的平均。记两个特征的余弦距离为
则
是轨迹 的长度, 是它在第 帧的特征。一条轨迹有 300 个框、另一条有 200 个框,就要算 6 万组距离再取平均。
第二步,加上空间约束。 作者假设镜头位置固定,球员的活动范围被场地边界限制,不会从场地一边离开、又从另一边进来。所以前一段轨迹的离开位置,和下一段轨迹的进入位置,不能差太远:
是整段视频里所有框中心的最大水平、垂直跨度, 介于 0 和 1 之间。两段轨迹的离开点和进入点,水平或垂直距离只要有一项超过阈值,距离就设成 1。
第三步,层次合并。 每次挑出距离最小的一对轨迹,只要它的距离小于阈值 ,就合并成一条,再重新计算这条新轨迹和其他轨迹的距离。官方代码在合并前才检查空间约束,不符合的那一对就不再考虑。重复这个过程,直到没有任何一对的距离小于 。
讨论
检测不变,关联变好
SportsMOT 上,检测沿用 Deep-EIoU 的 YOLOX;SoccerNet 则用 2023 年版本的测试集,直接使用真值框。
| 跟踪器 | HOTA | AssA | IDF1 | DetA | ID 切换 |
|---|---|---|---|---|---|
| SORT | 56.3 | 42.7 | 58.8 | 74.3 | 5,180 |
| +GTA | 66.5 | 59.6 | 77.4 | 74.3 | 3,547 |
| ByteTrack | 63.5 | 51.8 | 70.8 | 77.8 | 3,147 |
| +GTA | 69.7 | 62.6 | 83.2 | 77.7 | 2,107 |
| Deep-EIoU | 77.2 | 67.6 | 79.8 | 88.2 | 2,909 |
| +GTA | 81.0 | 74.5 | 86.5 | 88.2 | 2,737 |
整理自原论文 Table 1,SportsMOT 测试集。
- DetA 几乎没变。 GTA 不新增也不删除任何框,只改框的 ID,所以检测的分数不动,提升全部来自关联。
- 越弱的跟踪器,提升越多。 SORT 的 HOTA 多了 10.2 分,ByteTrack 多 6.2 分,Deep-EIoU 多 3.8 分。加了 GTA 的 SORT(66.5),已经超过没加的 ByteTrack(63.5)。
- IDF1 的提升特别大。 SORT 多了 18.6 分,ByteTrack 12.4 分,Deep-EIoU 6.7 分。IDF1 在整段视频上匹配身份,把断掉的轨迹接回来,正是它最在意的事。
- Deep-EIoU 加上 GTA 达到 81.0 的 HOTA,是作者发表时 SportsMOT 上的最佳成绩。
SoccerNet 上的趋势相同:SORT、ByteTrack、Deep-EIoU 的 HOTA 分别多了 6.8、4.7、3.7 分,Deep-EIoU 从 79.4 升到 83.1。
这里的 79.4,和 Deep-EIoU 论文自己报告的 85.4 不一样,因为 GTA 用的是 2023 年版本的 SoccerNet 测试集,Deep-EIoU 论文用的是 2022 年的版本。两篇论文的 SoccerNet 数字不能直接比。
拆和接,哪个重要
| 跟踪器 | 原始 | 只接 | 拆+接 |
|---|---|---|---|
| SORT | 56.3 | 65.4 | 66.5 |
| ByteTrack | 63.5 | 69.5 | 69.7 |
| Deep-EIoU | 77.2 | 80.5 | 81.0 |
整理自原论文 Table 3,SportsMOT 测试集,HOTA。
大部分的提升来自连接器。以 Deep-EIoU 为例,总共的 3.8 分里,连接器贡献了 3.3 分,拆分器再加 0.5 分。换句话说,在体育场景里,断裂错误远比混入错误常见,或者至少更容易被修正。
拆分器的作用也不是可有可无。在 SoccerNet 上,ByteTrack 只用连接器时 IDF1 是 78.2,加上拆分器后升到 82.7。先把混在一起的轨迹拆干净,连接器才不会把错的人一起接过去。
没有写出来的代价
GTA 是离线方法,需要整段视频的跟踪结果才能开始,所以适合赛后分析,不适合实时转播。论文也没有报告运行时间;从距离的定义来看,每一对轨迹都要算所有框之间的距离,视频越长、轨迹越多,计算量增长得越快。这一点要自己评估。
另外,整个方法的效果取决于 ReID 特征的质量。这篇用的 OSNet 是在 SportsMOT 上训练的,换到其他运动或其他转播风格,可能需要重新训练。
结论
GTA 把运动员跟踪的错误分成两种,一条轨迹混了好几个人,或是一个人被切成好几条轨迹。它用 DBSCAN 把前者拆开,用外观距离加上时间、空间约束把后者接回来。不改任何框,只改 ID,就让三个不同的跟踪器在 SportsMOT 和 SoccerNet 上都稳定提升,其中又以连接器的贡献最大。
这个组合后来也被别人拿去用了。2026 年初,另一个团队以 Deep-EIoU 做在线关联、GTA 做轨迹层级的修正,在用固定鱼眼镜头拍摄的 SoccerTrack Challenge 2025 上拿下第一名。
在线跟踪器在比赛当下只能尽力去追;等比赛结束,再回头把轨迹拆开、重新接好,也是一种解法。