STORM: End-to-End Referring Multi-Object Tracking in Videos
- 发表版本
- CVPR Findings 2026会议
- arXiv 首次提交
- arXiv:2604.10527
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{multiobjecttrackingstorm2026,
title = {{STORM: End-to-End Referring Multi-Object Tracking in Videos}},
author = {Zijia Lu and Jingru Yi and Jue Wang and Yuxiao Chen and Junwen Chen and Xinyu Li and Davide Modolo},
year = {2026},
eprint = {2604.10527},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2604.10527}
}
一般的多目标跟踪,要跟踪的是画面上所有的人,或所有的车。实际使用时,我们常常只关心其中几个:「戴墨镜、拿着笔记本电脑的那个人」,「左边那两个小孩」,「滑雪的人和他脚下的滑雪板」。
用一句话指定要跟踪哪些东西,这个任务叫做 referring multi-object tracking(RMOT)。模型得先听懂描述,找出符合的物体,再一路跟下去,比一般的跟踪多了一层。
亚马逊的 Zijia Lu、Davide Modolo 等人认为,听懂描述正是大语言模型的强项。他们做了 STORM,一个多模态大语言模型,读入视频和一句描述,直接用文字写出每个物体在每一帧的框。
定义问题
现有做法是拼起来的
过去的 RMOT 方法,大多是在专门的检测器上加一个文本编码器,让检测结果按描述过滤。这种做法处理得了「红色的车」,处理不了「画右边的那两位表演者」这种涉及关系的描述。
用多模态大语言模型做定位的方法,看得懂复杂的语言,但大多只处理单张图像。要用在视频上,就得另外接一个跟踪器或检测器,语言模型只负责理解文字,没有直接参与「这个框在下一帧跑到哪里」。作者指出,到目前为止,没有一个方法是端到端处理 RMOT 的。
数据又少又乱
更大的问题是数据。多模态大语言模型需要大量高质量的训练数据,但 RMOT 的标注极其昂贵:每一帧都要有框,框还要和一句精确的描述对得上。
现有的数据集各有毛病。Refer-KITTI 只有交通场景、两种类别;LaSOT 的描述常常不够具体,一段视频里有好几只同类的动物,描述却没说是哪一只;Elysium 规模大,但有不少框和描述对不上;LaMOT 规模小,很多描述只是类别名称。
解决问题
用文字写出所有的框

STORM 的架构是标准的 LLaVA 式设计:视觉编码器把每一帧变成视觉 token,经过两层 MLP 投影到文本空间,和描述一起送进一个 80 亿参数的语言模型。视觉编码器用的是 NaViT,可以处理任意分辨率和宽高比,不必把画面硬缩成固定大小,对需要精确定位的任务比较有利。
模型的输出就是一段文字,格式是「Object 1: Frame 1: [x1, y1, x2, y2], Frame 2: …; Object 2: …」,每个物体一段,依次写出它在每一帧的框。坐标是画面上的绝对像素位置。物体暂时被挡住或离开画面时,输出一个空框。训练就是一般的下一个 token 预测,用交叉熵损失。整个过程没有检测器、没有跟踪器、没有匈牙利算法,身份的一致性由语言模型自己维持:写在「Object 1」底下的框,就是同一个物体。
视频太长时,就切成几段,前一段最后预测的框作为下一段的提示,把轨迹接起来。
把任务拆开来学
RMOT 的数据太少,作者的办法是把它拆成两个数据丰富的子任务:按描述定位和跟踪。
- 第一阶段。 用大量的图像定位数据,学会按描述在单张图像上找到物体;用单目标跟踪数据,学会把一个物体一帧一帧跟下去;再加一点指代式的单目标跟踪数据,把两种能力接在一起。
- 第二阶段。 在作者自建的 STORM-Bench 上微调。训练时让模型先写出推理的过程:先在第一帧找出所有被描述的物体,再依次跟踪。这是把两个子任务的顺序明确地教给模型。
作者把这个做法叫做 task-composition learning(TCL)。
自下而上的数据集

过去的大型数据集多是自上而下生成的:先为整段视频写描述,再用 Grounding-DINO 找出描述中的名词,再用跟踪器把框串起来。每一步都依赖专家模型,任何一步出错都会留在数据里。
STORM-Bench 反过来做。作者利用了一个不对称:按描述找物体很难,但给定一个物体,写出它的描述相对容易。数据建立在 VidOR 上,这个数据集本来就有日常物体的真值框。
- 为每个物体写描述。 在视频上把目标物体画上红框,请 Qwen2.5-VL 描述它。再请另一个模型验证这段描述是否只对应这一个物体,验证时换三种输入:原视频加红框、框外模糊、只裁出物体。三种都通过的描述才保留。
- 组合多物体的描述。 把视频里所有物体的描述交给一个擅长推理的语言模型,对随机挑出的几个物体,找出它们共同或彼此区别的属性,写成一句描述,例如「架子上的乐器」或「女孩和跑在她后面的猫」。再请多模态模型对照视频和框验证一次。
最后得到 1.5 万段训练视频、714 段测试视频,共 20 万句描述、7.37 万条物体轨迹,涵盖 80 个类别。每句描述平均指向 3 个物体,平均长度 12.2 个英文单词,比 LaMOT 的 3.8、Elysium 的 2.1 都长得多。
讨论
指代式多目标跟踪
| 方法 | HOTA | AssA | IDF1 | ID 切换 |
|---|---|---|---|---|
| Grounding DINO + OC-SORT | 31.7 | 56.5 | 27.3 | 2,953 |
| Qwen2.5-VL + OC-SORT | 37.9 | 62.6 | 38.6 | 2,767 |
| VisionLLMv2 + OC-SORT | 45.3 | 58.9 | 44.6 | 12,097 |
| LaMOT | 46.7 | 56.1 | 48.8 | 7,972 |
| STORM(只用 STORM-Bench) | 34.8 | 56.8 | 36.4 | 2,832 |
| STORM | 66.7 | 82.6 | 78.3 | 183 |
整理自原论文 Table 4,STORM-Bench 测试集。
没有端到端的方法可以直接比,作者让几个能逐帧定位的模型各自生成框,再用 OC-SORT 串成轨迹;LaMOT 则用官方权重,再在 STORM-Bench 上微调。
STORM 的 HOTA 是 66.7,比最好的 LaMOT 高了 20 分;ID 切换只有 183 次,LaMOT 是 7,972 次。这不完全是公平的比较,STORM-Bench 是作者自己的数据集,标注方式也和 STORM 的训练数据同源。但 ID 切换差了四十多倍,很难只用这一点解释。逐帧定位再串接的方法,每一帧都可能找错人;STORM 把整条轨迹写在同一个「Object 1」底下,身份本来就不容易换。
同一张表里,只用 STORM-Bench 训练的 STORM,HOTA 只有 34.8,比 Qwen2.5-VL 加 OC-SORT 还低;加上第一阶段的定位和跟踪预训练,跳到 66.7。光有架构不够,拆开学的训练方式才是主因。

这张图看得出描述的弹性。同一段视频,同一个模型,描述可以指物体的位置(左边的椅子)、物体之间的关系(画右边的两位表演者)、从属(左边乐手的两件乐器),也可以混合不同类别(乐手和画)。
拆开学的效果
| 图像定位 | 单目标跟踪 | 指代式单目标跟踪 | 指代式单目标跟踪成绩 |
|---|---|---|---|
| 100 万 | 0 | 10 万 | 77.4 |
| 100 万 | 0 | 100 万 | 84.1 |
| 100 万 | 90 万 | 10 万 | 83.0 |
整理自原论文 Table 5;数据量为训练样本数,成绩为指代式单目标跟踪的测试结果。
指代式的单目标跟踪数据,标起来比一般的单目标跟踪贵。这张表显示,用 90 万条一般的跟踪数据,搭配 10 万条指代式数据,成绩就接近用 100 万条指代式数据。便宜的子任务数据,可以替代昂贵的完整任务数据。
RMOT 数据本身的用量也试过:5 千条 HOTA 26.4,1 万条 53.4,1.2 万条 63.3,1.5 万条 66.7。大约 1.2 万条之后开始趋缓,作者因此把数据集停在 1.5 万条。
图像定位和单目标跟踪
STORM 虽然是为视频设计的,在图像定位上仍有竞争力。RefCOCO 的验证集和 testA、RefCOCO+ 的 testA、RefCOCOg 的测试集上,它都是表中最高的;其余几列则各有其他模型略高,例如 RefCOCO 的 testB,MiniGPT-v2 是 85.3,STORM 是 83.8。
单目标跟踪的 Elysium 上,给第一帧的框时,STORM 的 AUC 是 89.8,Elysium 是 88.7;用简短描述指定目标时,是 84.1 对 83.3。作者把描述改写得更长、更具体之后,两者的 AUC 几乎一样(87.4 对 87.5),STORM 的精确度则略高。
速度
用文字一个一个写出坐标,代价是速度。附录里,只跟踪一个物体时,不论视频是 32 帧还是 256 帧,速度都在每秒 3.3 帧左右。但目标一多就变慢:
| 目标数 | 要写出的框 | 时间 | 每个框 |
|---|---|---|---|
| 1 | 64 | 19.7 秒 | 0.31 秒 |
| 8 | 512 | 143.3 秒 | 0.28 秒 |
时间整理自原论文附录 Table 7(64 帧视频),每个框的时间为本文计算。
花的时间和要写出的框数几乎成正比,每个框大约 0.3 秒。跟踪 8 个目标时,一段 64 帧的视频要两分多钟,换算下来每秒不到半帧。
作者也在附录里提到,很长的视频、或者超过十个目标时,输出的文字序列会变得太长,模型就比较吃力。剩下的误差主要在定位:描述很模糊或场景很拥挤时,框会不准。
结论
STORM 把指代式多目标跟踪,整个交给一个多模态大语言模型:读视频、读描述,用文字写出每个物体在每一帧的框。身份由输出的结构维持,所以 ID 切换少得惊人。
真正让它成立的是训练方式。完整任务的数据太少,就先用大量的图像定位和单目标跟踪数据,把两种能力分别学好,再用少量的完整数据把它们接起来。自建的 STORM-Bench 则用「先有物体、再写描述」的方式,避开了自上而下标注时层层累积的错误。
只是每一个框都得用文字一笔一笔写出来,要跟踪的东西越多,写得越久。