返回论文笔记资料库
arXiv 2023ICCV 2023多目标跟踪论文笔记

SportsMOT

全场紧逼盯人

原始论文

SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

论文作者

Yutao Cui · Chenkai Zeng · Xiaoyu Zhao · Yichun Yang · Gangshan Wu · Limin Wang

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2304.05170
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingsportsmot2023,
  title = {{SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes}},
  author = {Yutao Cui and Chenkai Zeng and Xiaoyu Zhao and Yichun Yang and Gangshan Wu and Limin Wang},
  year = {2023},
  eprint = {2304.05170},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2304.05170}
}
本页内容

一场球赛的转播画面,跟踪器要跟踪的不是所有人。观众、裁判、场边的教练都不用管,只要场上的球员。跟踪到之后,才能算每个人跑了多远、平均速度多快,进一步做战术分析。

当时的跟踪数据集,大多是为了监控或自动驾驶而建的:街上的行人、车辆,几乎画面里每个人都要跟踪。DanceTrack 虽然换成了舞台,但舞者之间几乎无法分辨,和运动场上的情况也不一样。

南京大学王利民团队的 Yutao Cui、Chenkai Zeng、Xiaoyu Zhao、Yichun Yang 等人,于是做了一个专门面向体育场景的跟踪数据集 SportsMOT,并提出一个在现有跟踪器上加强外观关联的框架 MixSort。

定义问题

作者认为,主流跟踪器的三个组件,检测、运动关联和外观关联,都被 MOT17、MOT20 和 DanceTrack 这几个数据集的分布带偏了,搬到运动场上就不太好用。

检测。 行人数据集要检测画面里几乎所有的人,运动场上却只要球员,所以需要专门训练的检测器。

运动。 MOT17 和 MOT20 的行人走得慢、走得直,用卡尔曼滤波预测位置、再算 IoU 就足够了。DanceTrack 的舞者会频繁改变方向和相对位置,但速度并不快。运动员则是又快又会变速:冲刺、急停、急转,相邻两帧之间的位移很大,而且很难预测。

外观。 MOT17、MOT20 的行人体型和穿着都不同,很好分辨;DanceTrack 的舞者穿得几乎一模一样。运动员介于两者之间:同一队的球员穿一样的球衣,快速移动或镜头快速移动时还会模糊;但球衣上有号码,每个人的姿势也不太一样。作者把这叫作「相似但可分辨」。

原论文 Figure 1:四组采样序列,(a) SportsMOT 的篮球、(b) SportsMOT 的足球、(c) MOT17、(d) DanceTrack,同一个人的框在连续帧之间以半透明色块连起来。下方两张折线图分别是相邻帧的 IoU 和用卡尔曼滤波预测后的 IoU。MOT17(橙线)两者都接近 1;DanceTrack(绿线)在 0.6 到 0.9 之间;篮球(青线)起伏较大;足球(洋红线)最低,相邻帧 IoU 只有 0.3 到 0.45,卡尔曼 IoU 约 0.5 到 0.65。
原论文 Figure 1(Cui 等人),取自 PDF 第 2 页,CC BY 4.0。

上半部分是四组采样序列。可以看到足球那一组,同一个球员在连续几帧之间,框的位置跳得很远。下面两张折线图把这件事量化:足球的相邻帧 IoU 只有 0.3 到 0.45,用卡尔曼滤波预测后也只有 0.5 到 0.65;MOT17 的行人则几乎都接近 1。

解决问题

数据怎么来

作者挑了三种全世界都熟悉的运动:篮球、排球和足球,视频取自另一个体育动作数据集 MultiSports,来源包括 NCAA、英超和奥运会的职业比赛。三种运动各有典型的阵型和跑动模式。

筛选时有几个条件:

  • 只用转播的俯拍镜头,避开一些极端的画面。
  • 视频都是 720p、每秒 25 帧。
  • 每段视频都人工检查过,片段内没有突然的视角切换。

标注规则也针对体育场景定得很具体:

  • 框住球员的四肢和躯干,碰到身体的球不算在内。
  • 球员被遮住时,只要还有一部分身体看得见,就要推测出完整的框。
  • 躯干有一半以上在画面外,就不标。
  • 每个球员在整段视频里只能有一个 ID。

标注用的是自制工具。标注员开始标一个新球员时,工具自动给一个新 ID,并用单目标跟踪器 KCF 把框传到下一帧,标注员再修正。全部标完再审查一轮,修正不合规定的框和 ID;最后删掉宽或高小于 5 像素的框。

规模

数据集视频帧数总长(秒)框轨迹
MOT171411,235463292,7331,342
MOT20813,4105351,652,0403,456
DanceTrack100105,8555,292—990
SportsMOT240150,3796,0151,629,4903,401

整理自原论文 Table 1。

SportsMOT 的帧数是 MOT17 的 13.4 倍,框的数量和 MOT20 差不多,但分散在 240 段视频里。训练、验证、测试分别是 45、45、150 段,测试集占了大部分。

三种运动的差别也很大:

运动平均帧数平均轨迹数平均轨迹长度平均中断长度每帧框数
篮球845.410767.968.79.1
排球360.412335.938.211.2
足球673.920.5422.1116.112.8

整理自原论文 Table 2,均为每段视频的平均;长度单位是帧。

篮球每段视频平均 10 条轨迹,刚好是场上的 10 个球员,而且几乎从头到尾都在画面里。足球场大,镜头只拍得到一部分球员,平均每段有 20.5 条轨迹,中断的时间也最长,球员常常跑出画面又回来。

两个特性,各量一次

作者用三张图量化前面说的两个特性。

原论文 Figure 2:相邻两帧同一个物体的框的平均 IoU。(a) 三个数据集,SportsMOT 约 0.80,MOT17 约 0.94,DanceTrack 约 0.90;(b) SportsMOT 的三种运动,篮球约 0.86,排球约 0.83,足球约 0.74。
原论文 Figure 2(Cui 等人),取自 PDF 第 4 页,CC BY 4.0。

第一张量的是速度。同一个人在相邻两帧的框重叠得越少,说明移动得越快。SportsMOT 在三个数据集中最低,约 0.80;三种运动里又以足球最低,约 0.74。

原论文 Figure 3:用卡尔曼滤波预测后的 IoU。(a) 三个数据集,SportsMOT 约 0.78,MOT17 约 0.92,DanceTrack 约 0.80;(b) 三种运动,篮球约 0.81,排球约 0.79,足球约 0.76。
原论文 Figure 3(Cui 等人),取自 PDF 第 4 页,CC BY 4.0。

第二张量的是运动好不好预测。作者用前几帧的真值框让卡尔曼滤波预测下一帧,再和真正的下一帧算 IoU。如果运动是匀速的,预测应该很准,IoU 会接近 1。SportsMOT 一样最低,约 0.78,和 DanceTrack 差不多;MOT17 有 0.92。作者把这归因于变速:急加速、急停,匀速假设跟不上。

原论文 Figure 4:用 t-SNE 把 re-ID 特征投影到平面,同一个物体同一种颜色。(a) MOT17 的各个物体分成清楚的簇;(b) SportsMOT 的簇比较松散,但大致可分;(c) DanceTrack 的各色点完全混在一起。
原论文 Figure 4(Cui 等人),取自 PDF 第 4 页,CC BY 4.0。

第三张看外观。把 re-ID 特征用 t-SNE 投影到平面,MOT17 的每个人自成一簇,DanceTrack 的所有人混在一起,SportsMOT 介于两者之间。这就是「相似但可分辨」。

评估指标方面,作者建议以 HOTA、AssA、IDF1 为主,不以偏重检测的 MOTA 排名。

MixSort:把单目标跟踪器拿来比外观

既然运动员「可分辨」,外观就应该派得上用场。但一般的 re-ID 特征,是把每个框各自提取成一个向量再比距离。作者的想法是换用单目标跟踪器的做法,直接拿轨迹的模板,到新的一帧里找人。

他们用的是同一个团队先前提出的单目标跟踪器 MixFormer,改成一个外观关联模块,可以接在 ByteTrack、OC-SORT 这类先检测再关联的跟踪器上,称为 MixSort。

对每一条轨迹,流程是:

  1. 用卡尔曼滤波预测它在这一帧的位置,以这个位置为中心,裁出一块 224 × 224 的搜索区域。
  2. 把搜索区域和这条轨迹的模板(96 × 96)一起送进 MixFormer,输出一张热图,表示搜索区域里每个位置像不像模板的中心。
  3. 中心落在搜索区域里的检测框,以热图在它中心的值作为外观相似度;落在搜索区域外的,相似度是 0。

这样得到一个外观相似度矩阵 VV,再和 IoU 矩阵加权合并:

M=α⋅IoU+(1−α)⋅VM = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot V

最后用匈牙利算法匹配。

为了适配多目标跟踪,作者做了几处修改。原本 MixFormer 用角点头预测目标的左上、右下角,这里改成热图头,预测目标中心;混合注意力模块从 12 层减到 4 层,加快速度。每条轨迹只留一个模板,匹配上新检测时,只有当新检测没被其他检测挡住的面积够大,才更新模板,避免被遮住的画面污染模板。

训练时,把每个球员的轨迹转成单目标跟踪的数据格式,用高斯分布生成中心热图的真值,以 focal loss 训练。MixFormer 从单目标跟踪数据训练好的权重开始,在 SportsMOT 上微调 300 个 epoch。检测器则沿用 ByteTrack 的 YOLOX,先在 CrowdHuman 上训练,再在 SportsMOT 上训练。

讨论

难在关联

作者在 SportsMOT 上重新训练、测试了几个主流的跟踪器:

方法HOTAAssADetAIDF1
FairMOT49.334.770.253.5
GTR54.545.964.855.8
QDTrack60.447.277.562.3
CenterTrack62.748.082.160.0
TransTrack68.957.582.771.5
ByteTrack64.152.378.571.4
OC-SORT73.761.588.574.0
MixSort-Byte65.754.878.874.1
MixSort-OC74.162.088.574.4

整理自原论文 Table 3,测试集。前五个方法只用训练集;ByteTrack、OC-SORT 和两个 MixSort 用训练集加验证集。

检测的 DetA 大多在 77 到 88 之间,关联的 AssA 却落在 35 到 62。作者据此认为,SportsMOT 的主要挑战在关联,不在检测。球员在画面里清楚、又不拥挤,检测器只要学会不去框观众和裁判,就能做得很好。

MixSort 对两个基础跟踪器都有帮助。ByteTrack 加上之后 HOTA 多 1.6、IDF1 多 2.7;OC-SORT 加上之后只多 0.4。各方法之间的 HOTA 从 49 到 74,差距很大,作者认为这说明 SportsMOT 更能区分不同算法。

卡尔曼滤波反而拖后腿

这篇最让人意外的结果,是 MixSort-Byte 的消融:

IoU卡尔曼预测MixSortHOTAAssAIDF1
✓71.558.171.2
✓64.248.763.9
✓✓64.152.371.4
✓✓73.861.674.4
✓✓✓65.754.874.1

整理自原论文 Table 6,SportsMOT 测试集。没有卡尔曼预测的行,直接拿轨迹上一次的位置和检测框算 IoU。

第一行和第三行只差在要不要先用卡尔曼滤波预测位置。不预测、直接拿上一帧的框算 IoU,HOTA 是 71.5;用卡尔曼滤波预测之后,反而掉到 64.1。

假设匀速运动的卡尔曼滤波,在运动员身上预测错得太多,还不如不预测。表上最好的组合,是 IoU 加 MixSort、不用卡尔曼滤波,HOTA 73.8,比作者在主表上报告的 MixSort-Byte(65.7)高了 8 分。

只用 MixSort 的外观、完全不看位置,HOTA 只有 64.2,ID 切换高达 25,947 次(只用 IoU 是 4,329 次)。外观可以分辨,但单靠外观还不够。

外观什么时候有用

作者在 OC-SORT 加 MixSort 上调整融合权重 α\alpha,看三种运动各自的反应。α=1\alpha = 1 是只用运动,α=0\alpha = 0 是只用外观:

运动只用运动最好的融合只用外观
篮球65.966.2(α = 0.8)26.9
排球76.076.9(α = 0.5)40.9
足球71.973.2(α = 0.4)65.7

整理自原论文 Table 4,SportsMOT 测试集,HOTA。

三种运动都是融合最好,而且只用运动都比只用外观好。外观带来的提升,足球最多(+1.3)、排球次之(+0.9)、篮球最少(+0.3)。对照前面的图,足球的相邻帧 IoU 最低、动作最快。作者的结论是,动作越快的场景,越需要外观线索;最佳的 α\alpha 也随之下降,足球只给运动 0.4 的权重。

篮球是三者中最难的。它的最佳 HOTA 只有 66.2,只用外观时更是只有 26.9。作者推测,篮球场小、身体接触多,遮挡和模糊都比较严重。

和 DanceTrack、SoccerNet 比

在 DanceTrack 的验证集上,MixSort-Byte 的 HOTA 是 46.7,原本的 ByteTrack 是 47.1,加了外观反而稍微变差。舞者的外观太难分辨,外观模块帮不上忙。SportsMOT 的球员外观相似但分得开,运动和外观两种线索都得用上。

另一个体育跟踪数据集 SoccerNet 只拍足球,而且要跟踪场上所有元素,包括球员、守门员、裁判和球。MixSort-Byte 在 SoccerNet 上的 HOTA 是 62.9,DetA 只有 71.5,比 SportsMOT 的 78.8 低,因为要检测的东西更杂;但 AssA 是 55.5,反而略高于 SportsMOT 的 54.8。作者据此认为,SportsMOT 的关联更有挑战。

最后,作者也把 MixSort 和一般的 re-ID 模型比较。在 ByteTrack 上加入 DeepSORT 用的 re-ID 模型、并在 SportsMOT 上微调,HOTA 从 64.1 升到 64.8;换成 MixSort 则到 65.7。外观线索确实有用,用单目标跟踪器比外观又更好一些。

结论

SportsMOT 用 240 段职业比赛的转播视频,提出了一种和行人、舞者都不同的跟踪场景:球员跑得快、会变速,外观相似但可以分辨。作者用相邻帧 IoU、卡尔曼预测后的 IoU 和 re-ID 特征的分布,把这两个特性量化出来,并说明这里的困难主要在关联。

MixSort 证明外观线索在运动场上确实有用,但这篇论文更值得记住的,是那张消融表。匀速假设的卡尔曼滤波在运动员身上不但没帮忙,还让 HOTA 掉了 7.4 分。

两个月后,同样处理体育场景的 Deep-EIoU 干脆把卡尔曼滤波整个拿掉,在 SportsMOT 上拿到 77.2 的 HOTA。2025 年的一篇多目标跟踪综述,也把 SportsMOT 和 MOT17、MOT20、DanceTrack 并列为四个标准数据集。

场上的球员都穿着一样的球衣,好在背后还有号码。