SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes
- 发表版本
- ICCV 2023会议
- arXiv 首次提交
- arXiv:2304.05170
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingsportsmot2023,
title = {{SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes}},
author = {Yutao Cui and Chenkai Zeng and Xiaoyu Zhao and Yichun Yang and Gangshan Wu and Limin Wang},
year = {2023},
eprint = {2304.05170},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2304.05170}
}
一场球赛的转播画面,跟踪器要跟踪的不是所有人。观众、裁判、场边的教练都不用管,只要场上的球员。跟踪到之后,才能算每个人跑了多远、平均速度多快,进一步做战术分析。
当时的跟踪数据集,大多是为了监控或自动驾驶而建的:街上的行人、车辆,几乎画面里每个人都要跟踪。DanceTrack 虽然换成了舞台,但舞者之间几乎无法分辨,和运动场上的情况也不一样。
南京大学王利民团队的 Yutao Cui、Chenkai Zeng、Xiaoyu Zhao、Yichun Yang 等人,于是做了一个专门面向体育场景的跟踪数据集 SportsMOT,并提出一个在现有跟踪器上加强外观关联的框架 MixSort。
定义问题
作者认为,主流跟踪器的三个组件,检测、运动关联和外观关联,都被 MOT17、MOT20 和 DanceTrack 这几个数据集的分布带偏了,搬到运动场上就不太好用。
检测。 行人数据集要检测画面里几乎所有的人,运动场上却只要球员,所以需要专门训练的检测器。
运动。 MOT17 和 MOT20 的行人走得慢、走得直,用卡尔曼滤波预测位置、再算 IoU 就足够了。DanceTrack 的舞者会频繁改变方向和相对位置,但速度并不快。运动员则是又快又会变速:冲刺、急停、急转,相邻两帧之间的位移很大,而且很难预测。
外观。 MOT17、MOT20 的行人体型和穿着都不同,很好分辨;DanceTrack 的舞者穿得几乎一模一样。运动员介于两者之间:同一队的球员穿一样的球衣,快速移动或镜头快速移动时还会模糊;但球衣上有号码,每个人的姿势也不太一样。作者把这叫作「相似但可分辨」。

上半部分是四组采样序列。可以看到足球那一组,同一个球员在连续几帧之间,框的位置跳得很远。下面两张折线图把这件事量化:足球的相邻帧 IoU 只有 0.3 到 0.45,用卡尔曼滤波预测后也只有 0.5 到 0.65;MOT17 的行人则几乎都接近 1。
解决问题
数据怎么来
作者挑了三种全世界都熟悉的运动:篮球、排球和足球,视频取自另一个体育动作数据集 MultiSports,来源包括 NCAA、英超和奥运会的职业比赛。三种运动各有典型的阵型和跑动模式。
筛选时有几个条件:
- 只用转播的俯拍镜头,避开一些极端的画面。
- 视频都是 720p、每秒 25 帧。
- 每段视频都人工检查过,片段内没有突然的视角切换。
标注规则也针对体育场景定得很具体:
- 框住球员的四肢和躯干,碰到身体的球不算在内。
- 球员被遮住时,只要还有一部分身体看得见,就要推测出完整的框。
- 躯干有一半以上在画面外,就不标。
- 每个球员在整段视频里只能有一个 ID。
标注用的是自制工具。标注员开始标一个新球员时,工具自动给一个新 ID,并用单目标跟踪器 KCF 把框传到下一帧,标注员再修正。全部标完再审查一轮,修正不合规定的框和 ID;最后删掉宽或高小于 5 像素的框。
规模
| 数据集 | 视频 | 帧数 | 总长(秒) | 框 | 轨迹 |
|---|---|---|---|---|---|
| MOT17 | 14 | 11,235 | 463 | 292,733 | 1,342 |
| MOT20 | 8 | 13,410 | 535 | 1,652,040 | 3,456 |
| DanceTrack | 100 | 105,855 | 5,292 | — | 990 |
| SportsMOT | 240 | 150,379 | 6,015 | 1,629,490 | 3,401 |
整理自原论文 Table 1。
SportsMOT 的帧数是 MOT17 的 13.4 倍,框的数量和 MOT20 差不多,但分散在 240 段视频里。训练、验证、测试分别是 45、45、150 段,测试集占了大部分。
三种运动的差别也很大:
| 运动 | 平均帧数 | 平均轨迹数 | 平均轨迹长度 | 平均中断长度 | 每帧框数 |
|---|---|---|---|---|---|
| 篮球 | 845.4 | 10 | 767.9 | 68.7 | 9.1 |
| 排球 | 360.4 | 12 | 335.9 | 38.2 | 11.2 |
| 足球 | 673.9 | 20.5 | 422.1 | 116.1 | 12.8 |
整理自原论文 Table 2,均为每段视频的平均;长度单位是帧。
篮球每段视频平均 10 条轨迹,刚好是场上的 10 个球员,而且几乎从头到尾都在画面里。足球场大,镜头只拍得到一部分球员,平均每段有 20.5 条轨迹,中断的时间也最长,球员常常跑出画面又回来。
两个特性,各量一次
作者用三张图量化前面说的两个特性。

第一张量的是速度。同一个人在相邻两帧的框重叠得越少,说明移动得越快。SportsMOT 在三个数据集中最低,约 0.80;三种运动里又以足球最低,约 0.74。

第二张量的是运动好不好预测。作者用前几帧的真值框让卡尔曼滤波预测下一帧,再和真正的下一帧算 IoU。如果运动是匀速的,预测应该很准,IoU 会接近 1。SportsMOT 一样最低,约 0.78,和 DanceTrack 差不多;MOT17 有 0.92。作者把这归因于变速:急加速、急停,匀速假设跟不上。

第三张看外观。把 re-ID 特征用 t-SNE 投影到平面,MOT17 的每个人自成一簇,DanceTrack 的所有人混在一起,SportsMOT 介于两者之间。这就是「相似但可分辨」。
评估指标方面,作者建议以 HOTA、AssA、IDF1 为主,不以偏重检测的 MOTA 排名。
MixSort:把单目标跟踪器拿来比外观
既然运动员「可分辨」,外观就应该派得上用场。但一般的 re-ID 特征,是把每个框各自提取成一个向量再比距离。作者的想法是换用单目标跟踪器的做法,直接拿轨迹的模板,到新的一帧里找人。
他们用的是同一个团队先前提出的单目标跟踪器 MixFormer,改成一个外观关联模块,可以接在 ByteTrack、OC-SORT 这类先检测再关联的跟踪器上,称为 MixSort。
对每一条轨迹,流程是:
- 用卡尔曼滤波预测它在这一帧的位置,以这个位置为中心,裁出一块 224 × 224 的搜索区域。
- 把搜索区域和这条轨迹的模板(96 × 96)一起送进 MixFormer,输出一张热图,表示搜索区域里每个位置像不像模板的中心。
- 中心落在搜索区域里的检测框,以热图在它中心的值作为外观相似度;落在搜索区域外的,相似度是 0。
这样得到一个外观相似度矩阵 ,再和 IoU 矩阵加权合并:
最后用匈牙利算法匹配。
为了适配多目标跟踪,作者做了几处修改。原本 MixFormer 用角点头预测目标的左上、右下角,这里改成热图头,预测目标中心;混合注意力模块从 12 层减到 4 层,加快速度。每条轨迹只留一个模板,匹配上新检测时,只有当新检测没被其他检测挡住的面积够大,才更新模板,避免被遮住的画面污染模板。
训练时,把每个球员的轨迹转成单目标跟踪的数据格式,用高斯分布生成中心热图的真值,以 focal loss 训练。MixFormer 从单目标跟踪数据训练好的权重开始,在 SportsMOT 上微调 300 个 epoch。检测器则沿用 ByteTrack 的 YOLOX,先在 CrowdHuman 上训练,再在 SportsMOT 上训练。
讨论
难在关联
作者在 SportsMOT 上重新训练、测试了几个主流的跟踪器:
| 方法 | HOTA | AssA | DetA | IDF1 |
|---|---|---|---|---|
| FairMOT | 49.3 | 34.7 | 70.2 | 53.5 |
| GTR | 54.5 | 45.9 | 64.8 | 55.8 |
| QDTrack | 60.4 | 47.2 | 77.5 | 62.3 |
| CenterTrack | 62.7 | 48.0 | 82.1 | 60.0 |
| TransTrack | 68.9 | 57.5 | 82.7 | 71.5 |
| ByteTrack | 64.1 | 52.3 | 78.5 | 71.4 |
| OC-SORT | 73.7 | 61.5 | 88.5 | 74.0 |
| MixSort-Byte | 65.7 | 54.8 | 78.8 | 74.1 |
| MixSort-OC | 74.1 | 62.0 | 88.5 | 74.4 |
整理自原论文 Table 3,测试集。前五个方法只用训练集;ByteTrack、OC-SORT 和两个 MixSort 用训练集加验证集。
检测的 DetA 大多在 77 到 88 之间,关联的 AssA 却落在 35 到 62。作者据此认为,SportsMOT 的主要挑战在关联,不在检测。球员在画面里清楚、又不拥挤,检测器只要学会不去框观众和裁判,就能做得很好。
MixSort 对两个基础跟踪器都有帮助。ByteTrack 加上之后 HOTA 多 1.6、IDF1 多 2.7;OC-SORT 加上之后只多 0.4。各方法之间的 HOTA 从 49 到 74,差距很大,作者认为这说明 SportsMOT 更能区分不同算法。
卡尔曼滤波反而拖后腿
这篇最让人意外的结果,是 MixSort-Byte 的消融:
| IoU | 卡尔曼预测 | MixSort | HOTA | AssA | IDF1 |
|---|---|---|---|---|---|
| ✓ | 71.5 | 58.1 | 71.2 | ||
| ✓ | 64.2 | 48.7 | 63.9 | ||
| ✓ | ✓ | 64.1 | 52.3 | 71.4 | |
| ✓ | ✓ | 73.8 | 61.6 | 74.4 | |
| ✓ | ✓ | ✓ | 65.7 | 54.8 | 74.1 |
整理自原论文 Table 6,SportsMOT 测试集。没有卡尔曼预测的行,直接拿轨迹上一次的位置和检测框算 IoU。
第一行和第三行只差在要不要先用卡尔曼滤波预测位置。不预测、直接拿上一帧的框算 IoU,HOTA 是 71.5;用卡尔曼滤波预测之后,反而掉到 64.1。
假设匀速运动的卡尔曼滤波,在运动员身上预测错得太多,还不如不预测。表上最好的组合,是 IoU 加 MixSort、不用卡尔曼滤波,HOTA 73.8,比作者在主表上报告的 MixSort-Byte(65.7)高了 8 分。
只用 MixSort 的外观、完全不看位置,HOTA 只有 64.2,ID 切换高达 25,947 次(只用 IoU 是 4,329 次)。外观可以分辨,但单靠外观还不够。
外观什么时候有用
作者在 OC-SORT 加 MixSort 上调整融合权重 ,看三种运动各自的反应。 是只用运动, 是只用外观:
| 运动 | 只用运动 | 最好的融合 | 只用外观 |
|---|---|---|---|
| 篮球 | 65.9 | 66.2(α = 0.8) | 26.9 |
| 排球 | 76.0 | 76.9(α = 0.5) | 40.9 |
| 足球 | 71.9 | 73.2(α = 0.4) | 65.7 |
整理自原论文 Table 4,SportsMOT 测试集,HOTA。
三种运动都是融合最好,而且只用运动都比只用外观好。外观带来的提升,足球最多(+1.3)、排球次之(+0.9)、篮球最少(+0.3)。对照前面的图,足球的相邻帧 IoU 最低、动作最快。作者的结论是,动作越快的场景,越需要外观线索;最佳的 也随之下降,足球只给运动 0.4 的权重。
篮球是三者中最难的。它的最佳 HOTA 只有 66.2,只用外观时更是只有 26.9。作者推测,篮球场小、身体接触多,遮挡和模糊都比较严重。
和 DanceTrack、SoccerNet 比
在 DanceTrack 的验证集上,MixSort-Byte 的 HOTA 是 46.7,原本的 ByteTrack 是 47.1,加了外观反而稍微变差。舞者的外观太难分辨,外观模块帮不上忙。SportsMOT 的球员外观相似但分得开,运动和外观两种线索都得用上。
另一个体育跟踪数据集 SoccerNet 只拍足球,而且要跟踪场上所有元素,包括球员、守门员、裁判和球。MixSort-Byte 在 SoccerNet 上的 HOTA 是 62.9,DetA 只有 71.5,比 SportsMOT 的 78.8 低,因为要检测的东西更杂;但 AssA 是 55.5,反而略高于 SportsMOT 的 54.8。作者据此认为,SportsMOT 的关联更有挑战。
最后,作者也把 MixSort 和一般的 re-ID 模型比较。在 ByteTrack 上加入 DeepSORT 用的 re-ID 模型、并在 SportsMOT 上微调,HOTA 从 64.1 升到 64.8;换成 MixSort 则到 65.7。外观线索确实有用,用单目标跟踪器比外观又更好一些。
结论
SportsMOT 用 240 段职业比赛的转播视频,提出了一种和行人、舞者都不同的跟踪场景:球员跑得快、会变速,外观相似但可以分辨。作者用相邻帧 IoU、卡尔曼预测后的 IoU 和 re-ID 特征的分布,把这两个特性量化出来,并说明这里的困难主要在关联。
MixSort 证明外观线索在运动场上确实有用,但这篇论文更值得记住的,是那张消融表。匀速假设的卡尔曼滤波在运动员身上不但没帮忙,还让 HOTA 掉了 7.4 分。
两个月后,同样处理体育场景的 Deep-EIoU 干脆把卡尔曼滤波整个拿掉,在 SportsMOT 上拿到 77.2 的 HOTA。2025 年的一篇多目标跟踪综述,也把 SportsMOT 和 MOT17、MOT20、DanceTrack 并列为四个标准数据集。
场上的球员都穿着一样的球衣,好在背后还有号码。