返回论文笔记资料库
arXiv 2022WACV 2023多目标跟踪论文笔记

C-BIoU

框外有框

原始论文

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

论文作者

Fan Yang · Shigeyuki Odashima · Shoichi Masui · Shan Jiang

发表版本
WACV 2023会议
arXiv 首次提交
arXiv:2211.14317
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{multiobjecttrackingcbiou2022,
  title = {{Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space}},
  author = {Fan Yang and Shigeyuki Odashima and Shoichi Masui and Shan Jiang},
  year = {2022},
  eprint = {2211.14317},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2211.14317}
}
本页内容

DanceTrack 出现之后,大家发现同一批跟踪器在 MOT17 上分数都差不多,换到 DanceTrack 就拉开了。舞者穿得一模一样,外观特征派不上用场;动作又快又乱,卡尔曼滤波也常常预测错。

OC-SORT 选择修卡尔曼滤波。富士通研究所的 Fan Yang、Shigeyuki Odashima、Shoichi Masui 和 Shan Jiang 走了另一条路,先不管运动模型准不准,把匹配的范围放宽一点。

这篇的论文标题是一个问句:物体的运动不规则、外观又相似,很难跟踪吗?那就给匹配空间加一点缓冲。这个方法也是他们在 2022 年 SoccerNet 足球跟踪挑战与 DanceTrack 群舞跟踪挑战都拿下第二名的主要组件。

定义问题

只用框的位置来关联,SORT 这一系的跟踪器靠的是 IoU:上一帧的轨迹预测一个框,这一帧的检测也有一个框,两个框重叠得越多,越可能是同一个人。

作者推测,跟踪在 DanceTrack 上失败,主要有两个原因:

  1. 相邻两帧根本不重叠。 舞者一个大动作,同一个人在两帧之间的框就分开了,IoU 是 0,匹配不上。
  2. 运动估计错了,就一直错下去。 一个人被遮住几帧,轨迹只能靠运动模型往前推。如果他在这段时间突然加速或转身,预测的框越推越偏,等他重新出现、检测框就在眼前,轨迹也匹配不上了。

外观特征本来可以补救这两种情况,但在舞者穿着一样的时候行不通。

这两个问题的共同点,是 IoU 对所有不重叠的框给的分数都是 0。差一点点和差很远,在 IoU 眼里没有区别。

GIoU、DIoU 这类 IoU 的变体,也能给不重叠的框算出分数。作者则提出一个更直接的做法。

解决问题

把框撑大一点

原论文 Fig. 2:上半部分是一般的 IoU,两个框 A、B 的重叠面积除以并集面积。下半部分是 BIoU,A、B 各自向外加一圈绿色虚线的缓冲区,用加大后的框计算重叠与并集。最下方说明原框与缓冲框中心相同,原框宽高 w、h,缓冲框宽高 b_w、b_h,缓冲比例 b = (b_w − w) / 2w = (b_h − h) / 2h。
原论文 Fig. 2(Yang 等人),取自 PDF 第 2 页,arXiv 许可,学术引用。

缓冲 IoU(Buffered IoU,BIoU)的做法,就是在算 IoU 之前,先把两个框按比例撑大。

一个框写成左上角坐标和宽高 o=(x,y,w,h)o = (x, y, w, h),缓冲比例是 bb,撑大后的框是

ob=(x−bw,  y−bh,  w+2bw,  h+2bh)o_b = (x - bw,\; y - bh,\; w + 2bw,\; h + 2bh)

左右各多 bwbw,上下各多 bhbh。中心不变,长宽比不变,只是变大了。

我们用一个具体的例子算算看。一个舞者的框宽 40、高 100 像素,下一帧他往右跳了 50 像素,两个框完全没有重叠,IoU 是 0。

  • b=0.3b = 0.3: 两个框都变成 64 × 160。中心相距 50,宽度 64,左右重叠了 64−50=1464 - 50 = 14 像素;高度完全对齐,重叠 160 像素。交集 14×160=2,24014 \times 160 = 2{,}240,并集 2×64×160−2,240=18,2402 \times 64 \times 160 - 2{,}240 = 18{,}240,BIoU 约 0.12。
  • b=0.5b = 0.5: 两个框都变成 80 × 200,左右重叠 30 像素,交集 6,000,并集 26,000,BIoU 约 0.23。

原本为 0 的分数,现在有了。

这个分数有两个作用。一是让相邻两帧不重叠的同一个人能直接匹配上;二是当运动模型预测得有点偏,撑大的框还能把真正的检测框罩进来,相当于在匹配空间里补偿了运动估计的误差。

和以往的「搜索窗口」不同,作者不是把放大的框拿来限制搜索范围,而是直接拿它来算匹配分数。

撑太大也不行

缓冲越大,能救回的人越多,但也越容易配错人。

延续刚才的例子。假设旁边还有一个舞者,在 70 像素之外。b=0.3b = 0.3 时,撑大的框宽 64,碰不到 70 像素外的人,BIoU 是 0;b=0.5b = 0.5 时宽 80,就和他重叠了 10 像素,BIoU 约 0.07。缓冲一放大,邻居也成了候选人。

所以作者把匹配分成两段:

原论文 Fig. 4:C-BIoU 跟踪器的流程。检测先和存活的轨迹用小缓冲的 BIoU 匹配(例如 b1 = 0.3),匹配上的轨迹更新状态;没匹配上的轨迹和没匹配上的检测,再用大缓冲的 BIoU 匹配一次(例如 b2 = 0.5)。两段合称级联匹配。之后没匹配上的检测成为新轨迹;没匹配上的轨迹年龄加一,超过 max_age 就删除。状态更新:新轨迹直接用当前的框,其他轨迹用当前状态加上最近几帧的平均位移。
原论文 Fig. 4(Yang 等人),取自 PDF 第 4 页,arXiv 许可,学术引用。
  1. 先用小缓冲匹配。 存活的轨迹和这一帧的检测,用小缓冲 b1b_1 的 BIoU 算分数,再用匈牙利算法匹配。大部分正常移动的人,在这一步就匹配好了。
  2. 剩下的用大缓冲再匹配一次。 第一轮没匹配上的轨迹和检测,改用大缓冲 b2b_2 再匹配一次。这一轮要处理的,是动作特别大、或运动估计偏得比较多的人。

这种「先匹配有把握的、再匹配困难的」级联匹配,在跟踪领域很常见。ByteTrack 先匹配高置信度的检测,DeepSORT 先匹配最近才匹配过的轨迹;C-BIoU 则是先用比较保守的匹配空间,有剩下的才放宽。

两个缓冲比例怎么定?作者在训练集上做网格搜索。因为 b1<b2b_1 < b_2,组合数量有限,加上这个跟踪器跑得很快,搜索花的时间可以接受。

不用卡尔曼滤波

C-BIoU 的运动模型简单得出乎意料,只是把最近几帧的位移平均起来往前推。

一条轨迹已经连续匹配上超过 nn 帧,接着有 Δ\Delta 帧没匹配上,它的状态估计为

st+Δ=st+Δn∑i=t−n+1t(oi−oi−1)s_{t+\Delta} = s_t + \frac{\Delta}{n}\sum_{i=t-n+1}^{t}\left(o^{i} - o^{i-1}\right)

这里的框写成左上、右下两个角点 o=(x,y,x+w,y+h)o = (x, y, x + w, y + h)。nn 默认在 2 到 5 之间。

最近 nn 帧的总位移除以 nn,就是平均每帧移动多少,再乘上中间隔了几帧。舞者突然转向,这个估计最多两三帧就跟上了,不像卡尔曼滤波要等速度慢慢修正。估计不准的部分,交给缓冲去补。

轨迹管理则沿用 SORT 的做法。第一帧的所有检测都成为新轨迹;新轨迹还没有运动可以估计,直接用记录下来的框作为当前状态。每一帧匹配上的轨迹年龄归零,没匹配上的加一,超过 max_age 就删除;两轮匹配之后还剩下的检测,则成为新轨迹。

作者也说明,这只是一个示范 C-BIoU 怎么用的简单原型,需要的话可以再加上其他模块。

讨论

同一组检测,MOT17 和 DanceTrack

作者先在 MOT17 和 DanceTrack 的测试集上比较。为了公平,下面几个方法都用同一组 YOLOX-X 检测(MOT17 的权重来自 ByteTrack,DanceTrack 的来自 OC-SORT):

方法MOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
DeepSORT61.245.629.747.9
SORT63.050.033.252.0
ByteTrack63.151.933.852.0
OC-SORT63.255.738.354.6
C-BIoU64.160.645.461.6

整理自原论文 Table I,测试集,检测相同。

MOT17 上,五个方法的 HOTA 只差 3 分。作者引用 DanceTrack 论文的分析:在 MOT17,瓶颈在检测,不在跟踪。

DanceTrack 上就拉开了。C-BIoU 比 OC-SORT 高 4.9 分 HOTA,衡量关联的 AssA 从 38.3 到 45.4,IDF1 从 54.6 到 61.6。检测的 DetA 两者差不多(81.3 对 81.7),所以差距几乎都来自关联。原论文表的上半部分列了用其他检测器的方法,仅供参考,其中端到端的 MOTR 是 54.2。

只比跟踪:用真值框

检测的好坏会干扰比较,所以作者也直接把真值框当作检测,只比关联。在 DanceTrack 验证集、SoccerNet 足球视频和 GMOT-40 上,C-BIoU 的 HOTA 分别是 81.7、89.2、96.4,第二名的 OC-SORT 是 79.1、82.0、92.4。差距从 2.6 到 7.2 分不等,最大的在 SoccerNet。

GMOT-40 是通用物体的多目标跟踪数据集,画面里常是一大群长得一样的同类物体;SoccerNet 是足球转播画面,镜头会跟着球移动。

作者也提醒,即使用了真值框,三个数据集上的结果都还不完美。用真值框建立基准、专心改进关联,目前仍然有意义。

每个部件的贡献

消融实验用真值框,先把级联匹配和运动估计都拿掉,只比较单次匹配时用哪一种相似度:

相似度DanceTrackSoccerNetGMOT-40
IoU76.681.993.0
GIoU77.179.893.4
DIoU75.184.393.6
BIoU80.087.796.2
+级联匹配80.288.996.3
+运动估计81.789.296.4

整理自原论文 Table IV,HOTA;DanceTrack 为验证集,另两者为测试集,检测都是真值框。

  1. BIoU 是主要的贡献。 同样是单次匹配、没有运动估计,BIoU 在三个数据集都比 IoU 高 3 到 6 分。GIoU 和 DIoU 也能处理不重叠的框,但没有一致的改善,DIoU 在 DanceTrack 上甚至比 IoU 还低。
  2. 级联匹配在 SoccerNet 上最有用。 加了级联匹配,DanceTrack 和 GMOT-40 只多 0.2、0.1 分,SoccerNet 多了 1.2 分。作者的解释是,足球转播的镜头会移动,让球员的运动变得极快,这时第二轮的大缓冲才派得上用场。
  3. 平均位移在 DanceTrack 上帮了 1.5 分。 虽然简单,有运动估计还是比没有好,因为缓冲可以补偿估计的误差。

缓冲比例

原论文 Fig. 6:DanceTrack 验证集上,不同缓冲比例组合的 HOTA。横轴是小缓冲 b1,纵轴是大缓冲 b2,两者从 0.1 到 0.7,只取 b1 小于 b2 的下三角。b1 = 0.3、b2 = 0.4 时最高,81.7;b1 = 0.3 那一列都在 81.4 到 81.7 之间;b1 = 0.6、b2 = 0.7 时最低,78.2。
原论文 Fig. 6(Yang 等人),取自 PDF 第 7 页,arXiv 许可,学术引用。

这张图要竖着看。同一列里,b1b_1 固定、b2b_2 变化,分数几乎不动,差距都在 0.3 分以内;换一列,分数就明显不同。也就是说,结果主要由第一轮的小缓冲决定:b1=0.3b_1 = 0.3 最好,再大或再小都会下降。

最差的组合是 78.2,仍然比 IoU 的 76.6 高。缓冲比例虽然会影响结果,但只要加了缓冲,就比不加好。

检测很差的时候

这个方法的局限,作者也自己做实验找了出来。他们在 DanceTrack 验证集的真值框上加入噪声:先按比例删掉一些框,造成漏检;再在没有人的地方加入同样比例的假框,造成误报。

噪声比例OC-SORTIoUC-BIoU
0%79.176.681.7
20%61.457.662.3
40%28.038.329.2

整理自原论文 Table V,DanceTrack 验证集,HOTA。

噪声在 20% 以内,C-BIoU 仍是最好的。到了 40%,它掉到 29.2,反而比最简单的 IoU 跟踪器(38.3)低了 9 分;衡量关联的 AssA 更是只剩 14.7,IoU 跟踪器还有 25.0。

作者的解释是,噪声少的时候,同一个人的轨迹和检测只是偶尔几帧对不上,缓冲刚好能把它们接回来。噪声多的时候,一个人可能连续很多帧都没有检测,不管用 IoU 还是 BIoU 都接不回来;更糟的是,撑大的匹配空间会更积极地把轨迹配给附近的假框。

作者认为,在他们关心的数据集上,通常拿得到高质量的检测,因为大家长得都一样,反而让检测变得容易。这是作者对自己适用范围的判断;换到检测器表现不稳定的场景,就要先确认检测的质量。

速度

拿掉卡尔曼滤波,也让跟踪本身快了很多。在 Intel Xeon Silver 4216 CPU 上、不含检测的时间,C-BIoU 在 MOT17 每秒处理 361 帧,DanceTrack 680 帧;OC-SORT 是 185 和 341,SORT 是 144 和 271。作者也提醒,物体越多,跟踪器就越慢。

结论

C-BIoU 的方法一句话就说得完,算 IoU 之前先把框撑大。再加上两段式的匹配和一个把最近几帧位移平均起来的运动模型,就在 DanceTrack 上比 OC-SORT 高出将近 5 分 HOTA,速度还快了一倍。

从消融看,功劳大部分来自 BIoU 本身,第一轮的缓冲比例最关键;级联匹配只在镜头会动的足球视频上明显有用。代价是检测一旦很差,撑大的匹配空间会让跟踪器更容易配上假框。

论文没有附上代码,不过这个想法够简单,很容易自己实现。2025 年的一篇多目标跟踪综述,就把 C-BIoU 列为「关联前先扩张框」这个做法的代表,并指出后来的 Deep-EIoU 把固定的两段缓冲,推广成逐步放大的多段。

缓冲这个词选得很好。运动模型说不准的事,留点余地就行了。