Multiple Object Tracking as ID Prediction
- 發表版本
- CVPR 2025會議
- arXiv 首次提交
- arXiv:2403.16848
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingmotip2024,
title = {{Multiple Object Tracking as ID Prediction}},
author = {Ruopeng Gao and Ji Qi and Limin Wang},
year = {2024},
eprint = {2403.16848},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2403.16848}
}
讀到這裡,我們看過兩大類追蹤器。
一類是先偵測、再關聯。偵測交給專門的偵測器,關聯則靠人設計的規則:卡爾曼濾波預測位置、IoU 或外觀距離算成本、匈牙利演算法配對,再加上一堆門檻。這些規則在行人身上很好用,但每遇到一種新情境,就要有人分析、修改、重新調參數。從 SORT 到 Deep OC-SORT,再到 C-BIoU、UCMCTrack,走的都是這條路。
另一類是端到端的 MOTR 系列,用一個軌跡查詢在幀與幀之間傳遞,偵測和追蹤一起在解碼器裡完成。關聯不再靠人寫規則,但兩種查詢擠在同一個解碼器裡會互相干擾,偵測常常因此吃虧。MOTRv2 乾脆把偵測交還給 YOLOX。
南京大學的 Ruopeng Gao、王利民,和中國移動(蘇州)軟體技術公司的 Ji Qi 想知道,能不能保留「先偵測、再關聯」的分工,同時把關聯整個交給模型學。
他們的答案是 MOTIP。這是 Ruopeng Gao 繼 MeMOTR 之後的下一篇,方法簡單得出乎意料。
定義問題
關聯看起來很像分類問題。訓練資料裡,每一條軌跡都有一個 ID,給定一個偵測框,判斷它屬於哪一條軌跡,不就是預測它的 ID 嗎?
問題在推論。測試影片裡出現的都是沒見過的人,ID 也是新的,模型不可能把一個人分類到訓練時從沒出現過的類別。
所以像 FairMOT 這種方法,訓練時雖然用分類損失來學外觀特徵,推論時卻得換一套作法:把特徵拿出來算餘弦相似度,再用人寫的規則配對。訓練和推論,做的其實是兩件事。
作者認為,卡住的地方在於,追蹤的 ID 和一般分類的標籤,本質上不一樣。

一般分類的「貓」就是貓,標籤有語意。追蹤的 ID 沒有。真值檔裡寫著 1、2、3、4 的四個人,換成 8、5、7、3 也完全可以,只要每個人從頭到尾都用同一個號碼。ID 只是一張號碼牌,代表「這幾個框是同一個人」,號碼本身是多少並不重要。
解決問題
上下文 ID 預測
既然號碼本身不重要,就讓模型看著「歷史軌跡上掛的號碼牌」,去預測新偵測該拿哪一張。
具體來說,對過去的每一條軌跡 ,隨機發給它一個號碼 ,。新的一幀進來,如果某個偵測屬於第 條軌跡,正確答案就是 。
號碼是發給軌跡的提示,所以作者稱為上下文 ID 預測(in-context ID prediction)。這樣一來,不管測試時遇到多少新面孔,要預測的永遠是 1 到 之間的號碼,都在訓練過的範圍裡。號碼怎麼發都可以,只要預測和歷史一致就算對,Figure 1 的三列說的就是這件事。
三個零件

整個架構只有三個零件。
DETR 偵測器。 用以 ResNet-50 為骨幹的 Deformable DETR。它的好處是解碼器的輸出嵌入,本身就可以當作物體的特徵,不需要另外裁切框、做 RoI 池化。每個物體得到一個 256 維的特徵 。
ID 字典。 一組 個可學習的 256 維嵌入:
前 個代表一般的號碼,最後一個 代表「新物體」。作者沒有用 one-hot 編碼,理由是它不利於訓練,而且號碼的上限會被向量維度綁死。預設 ,只要不少於一幀裡最多的物體數就行。
ID 解碼器。 一個標準的 Transformer 解碼器,自注意力和交叉注意力交錯排列,最後接一個線性分類頭,輸出 類的機率。
一個物體怎麼變成一個 token
我們沿著一條軌跡走一遍。
一條已經在追的軌跡,被發了號碼 。它過去 幀裡的每一個框,都有一個 DETR 特徵 。把特徵和號碼的嵌入直接串接起來:
每個 token 都是 512 維,前半是「長什麼樣子」,後半是「掛著幾號」。這條軌跡在過去 幀的所有 token,組成它的歷史。 在 DanceTrack 上是 29 幀,SportsMOT 是 59 幀。
目前這一幀的偵測,還不知道是誰,所以統一接上新物體的符號:
接著,目前的偵測當作查詢、所有歷史 token 當作鍵和值,送進 ID 解碼器。解碼器裡的交叉注意力,讓每個偵測去歷史裡找「長得最像的那串 token 掛著幾號」;自注意力則讓同一幀的偵測彼此交換資訊,避免兩個長得很像的人搶同一個號碼。最後分類頭輸出每個偵測屬於每個號碼的機率。
如果偵測屬於第 條軌跡,答案是 ;如果是新出現的人,答案是新物體那一類。關聯就這樣變成了一個 類的分類問題,可以直接用交叉熵訓練,和 DETR 的偵測損失加在一起:
四個權重分別是 2、5、2、1。
推論:號碼牌怎麼發、怎麼收
推論時的流程很直接:
- 號碼從 1 到 依序發給軌跡,彼此不重複。軌跡結束了,它的號碼就收回來給新軌跡用。所以影片再長、出現的人再多,只要同一時間在追的軌跡不超過 條就行。
- DETR 的輸出先用信心 0.3 過濾。
- 剩下的偵測送進 ID 解碼器,各自挑機率最高、而且超過 0.2 的號碼。
- 同一幀裡如果兩個偵測挑了同一個號碼,只留信心比較高的那個。
- 沒拿到號碼、偵測信心又超過 0.6 的,當作新物體,發一張新的號碼牌。
預設不用匈牙利演算法。作者認為,更複雜的指派策略也許能再提升一點,但他們想驗證的是模型本身的能力。
作者也統計過,大多數情況下號碼的使用率不到 40%。真的遇到極度擁擠的場景,把 調大即可,就像 DETR 預設用 300 個查詢一樣。
訓練時,故意製造錯誤
訓練時,歷史軌跡是用真值建起來的,每一條都乾乾淨淨。推論時卻不是這樣。人會被遮住,模型也會發錯號碼,錯誤還會寫進之後的歷史。

為了讓模型習慣不完美的歷史,作者加了兩種軌跡增強:
- 隨機遮擋: 以機率 把一條軌跡中間的一段 token 拿掉,模擬人被擋住。
- 隨機交換: 以機率 把同一幀裡兩條軌跡的號碼互換,模擬模型把相似的人配錯。
兩者都設為 0.5。
另外,因為偵測和關聯是分開的兩個模組,訓練可以平行處理。每次取一段 幀的片段,每一幀的 DETR 可以同時前向計算,ID 解碼器則用注意力遮罩確保看不到未來;只有其中 4 幀的 DETR 需要反向傳播。作者用 8 張 RTX 4090,在 DanceTrack 上訓練不到一天。
討論
作者刻意讓比較的條件一致,主要結果都用 Deformable DETR 加 ResNet-50,而且不用額外的偵測資料集。他們認為,把 CrowdHuman 這類靜態圖片平移成假影片來訓練,對端到端、特別是需要長時間建模的方法並不好。
DanceTrack
| 方法 | HOTA | DetA | AssA | IDF1 |
|---|---|---|---|---|
| OC-SORT | 55.1 | 80.3 | 38.3 | 54.6 |
| C-BIoU | 60.6 | 81.3 | 45.4 | 61.6 |
| DiffMOT | 62.3 | 82.5 | 47.2 | 63.0 |
| MeMOTR | 63.4 | 77.0 | 52.3 | 65.5 |
| CO-MOT | 65.3 | 80.1 | 53.5 | 66.5 |
| MOTIP | 69.6 | 80.4 | 60.4 | 74.7 |
| MOTRv2(額外資料) | 69.9 | 83.0 | 59.0 | 71.7 |
| MOTIP(額外資料) | 72.0 | 81.8 | 63.5 | 76.8 |
整理自原論文 Table 1,DanceTrack 測試集。
MOTIP 不用額外資料就拿到 69.6,比同樣用 Deformable DETR 的 CO-MOT 高 4.3 分,AssA 高 6.9 分,IDF1 更高出 8 分以上。用了額外資料的版本則到 72.0,超過 MOTRv2。
表上 MeMOTR 的 63.4,是它換成標準 Deformable DETR 的版本;MeMOTR 論文主表用 DAB-Deformable-DETR 報告的是 68.5。即使和 68.5 比,MOTIP 還是高出一截,但兩者的偵測框架並不相同。
SportsMOT 與鳥群
在 SportsMOT 上,只用訓練集,MOTIP 的 HOTA 是 72.6、AssA 63.2,高於同樣條件的 OC-SORT(68.1)和 MeMOTR 的 Deformable DETR 版本(68.8),也高於用了額外資料的 DiffMOT(72.1)。
不過,SportsMOT 上表現最好的是 Deep-EIoU 那一派的作法:它用 YOLOX 在訓練集加驗證集上訓練偵測器,再加上 ReID 模型,HOTA 是 77.2。兩者的訓練資料和偵測器都不同,不能直接比,但也提醒我們,在運動場景,一個強的偵測器加上簡單的規則,仍然很有競爭力。
作者另外測了一個鳥類追蹤資料集 BFT,有 22 種鳥、106 段影片。鳥在三維空間裡飛,動作比地面上的人更不規則,彼此也沒有衣服可以分辨。MOTIP 的 HOTA 是 70.5,OC-SORT 是 66.8,ByteTrack 是 62.5。
自注意力和匈牙利演算法
消融在 DanceTrack 的驗證集上做:
| 自注意力 | 匈牙利 | 軌跡增強 | HOTA | AssA |
|---|---|---|---|---|
| 57.7 | 43.9 | |||
| ✓ | 59.7 | 47.2 | ||
| ✓ | 59.5 | 47.2 | ||
| ✓ | ✓ | 59.9 | 47.9 | |
| ✓ | ✓ | 62.2 | 51.5 | |
| ✓ | ✓ | ✓ | 62.2 | 51.8 |
整理自原論文 Table 4,DanceTrack 驗證集。
- 沒有自注意力時,匈牙利演算法有用。 從 57.7 升到 59.7。沒有自注意力,每個偵測各自挑號碼,彼此不知道對方挑了什麼,需要一個全域的指派來避免衝突。
- 有了自注意力,匈牙利演算法就幾乎沒用了。 只多 0.4 分,加上軌跡增強後更是完全一樣。作者的解釋是,自注意力讓同一幀的偵測在解碼時就互相交換了身分資訊,模型自己學會了做全域的指派。
- 軌跡增強加了 2.7 分。 從 59.5 到 62.2,是這張表上最大的一步。
軌跡增強的比例也要拿捏。只加隨機遮擋時,0.5 最好(60.7),遮到 1.0 反而降到 58.6;在遮擋 0.5 的基礎上加隨機交換,0.5 最好(62.2),0.8 就掉到 59.8。
和 ReID 比
MOTIP 也是用物體特徵來追蹤,看起來很像一種 ReID 方法。作者把它和兩種常見的 ReID 訓練方式比較,一種是 FairMOT 的分類式,一種是對比學習式,推論時都用餘弦相似度。
在凍結 DETR、只訓練關聯部分的設定下,FairMOT 式的 HOTA 只有 29.4,對比學習式 41.0,MOTIP 的 ID 預測是 55.4。全部參數一起訓練時,ReID 方法即使加上匈牙利演算法、再加一個和 ID 解碼器同樣結構的軌跡強化模組,最好也只有 54.5,MOTIP 是 59.5。
同樣的特徵,換成「看著上下文預測號碼」的訓練方式,差了 5 分以上。作者認為,ReID 方法用人寫的規則整合歷史資訊、各自計算相似度,限制了模型的彈性;MOTIP 則讓模型自己決定怎麼看歷史軌跡。
限制
在 MOT17 上,MOTIP 的 HOTA 是 59.3,在端到端方法中和 CO-MOT(60.1)、MOTRv3(60.2)差不多,但明顯落後 ByteTrack(63.1)這類啟發式方法。作者的解釋是,MOT17 只有 7 段訓練影片,對需要從資料學習的方法太少;而啟發式方法已經針對行人的線性運動打磨了將近十年。
速度方面,在一張 RTX A5000 上,MOTIP 以 FP32 是每秒 12.7 幀,和 MOTR 的 13.1 差不多;改用 FP16 可以到 22.8 幀。
作者也說明,這個設計刻意保持簡單,目的是驗證「把追蹤當成 ID 預測」這個想法可行,還有很多空間可以加上運動、深度等其他線索。
結論
MOTIP 把多目標追蹤的關聯,改寫成一個上下文 ID 預測問題。號碼隨機發給歷史軌跡,模型只要看著這些號碼,預測新偵測該拿哪一張。整個模型只有 DETR、一本 ID 字典和一個標準的 Transformer 解碼器,沒有卡爾曼濾波、沒有成本矩陣,連匈牙利演算法都不需要,卻在 DanceTrack、SportsMOT 和鳥類追蹤上都超過了先前的方法。
消融裡最有意思的,是匈牙利演算法的失效。這個從 SORT 開始就一直在的元件,在 MOTIP 裡被一層自注意力取代了。
回頭看,評估指標其實早就是這樣看待 ID 的。CLEAR MOT 一幀一幀地建立對應,IDF1 在整段影片上把真實身分和計算身分一對一配對,它們都不在乎追蹤器給的是 3 號還是 87 號,只在乎同一個人有沒有一直拿著同一張號碼牌。MOTIP 只是讓模型也用同樣的方式理解 ID。