返回論文筆記資料庫
arXiv 2024CVPR 2025多目標追蹤論文筆記

MOTIP

你是幾號?

原始論文

Multiple Object Tracking as ID Prediction

論文作者

Ruopeng Gao · Ji Qi · Limin Wang

發表版本
CVPR 2025會議
arXiv 首次提交
arXiv:2403.16848
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingmotip2024,
  title = {{Multiple Object Tracking as ID Prediction}},
  author = {Ruopeng Gao and Ji Qi and Limin Wang},
  year = {2024},
  eprint = {2403.16848},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.16848}
}
本頁內容

讀到這裡,我們看過兩大類追蹤器。

一類是先偵測、再關聯。偵測交給專門的偵測器,關聯則靠人設計的規則:卡爾曼濾波預測位置、IoU 或外觀距離算成本、匈牙利演算法配對,再加上一堆門檻。這些規則在行人身上很好用,但每遇到一種新情境,就要有人分析、修改、重新調參數。從 SORT 到 Deep OC-SORT,再到 C-BIoU、UCMCTrack,走的都是這條路。

另一類是端到端的 MOTR 系列,用一個軌跡查詢在幀與幀之間傳遞,偵測和追蹤一起在解碼器裡完成。關聯不再靠人寫規則,但兩種查詢擠在同一個解碼器裡會互相干擾,偵測常常因此吃虧。MOTRv2 乾脆把偵測交還給 YOLOX。

南京大學的 Ruopeng Gao、王利民,和中國移動(蘇州)軟體技術公司的 Ji Qi 想知道,能不能保留「先偵測、再關聯」的分工,同時把關聯整個交給模型學。

他們的答案是 MOTIP。這是 Ruopeng Gao 繼 MeMOTR 之後的下一篇,方法簡單得出乎意料。

定義問題

關聯看起來很像分類問題。訓練資料裡,每一條軌跡都有一個 ID,給定一個偵測框,判斷它屬於哪一條軌跡,不就是預測它的 ID 嗎?

問題在推論。測試影片裡出現的都是沒見過的人,ID 也是新的,模型不可能把一個人分類到訓練時從沒出現過的類別。

所以像 FairMOT 這種方法,訓練時雖然用分類損失來學外觀特徵,推論時卻得換一套作法:把特徵拿出來算餘弦相似度,再用人寫的規則配對。訓練和推論,做的其實是兩件事。

作者認為,卡住的地方在於,追蹤的 ID 和一般分類的標籤,本質上不一樣。

原論文 Figure 1:上下文 ID 預測的示意。左下是歷史軌跡裡的四名舞者,以黃、綠、藍、紫色框標示;右下是目前這一幀的四個人。上方三列是三種標籤指派。歷史軌跡標成 1、2、3、4 時,目前的四人依序應預測為 1、4、3、2,正確;標成 8、5、7、3 時,應預測為 8、3、7、5,也正確;標成 9、4、5、8 時,若預測為 9、5、8、4,藍色和紫色的人被對調,標成 ID switch,錯誤。
原論文 Figure 1(Gao 等人),取自 PDF 第 1 頁,CC BY 4.0。

一般分類的「貓」就是貓,標籤有語意。追蹤的 ID 沒有。真值檔裡寫著 1、2、3、4 的四個人,換成 8、5、7、3 也完全可以,只要每個人從頭到尾都用同一個號碼。ID 只是一張號碼牌,代表「這幾個框是同一個人」,號碼本身是多少並不重要。

解決問題

上下文 ID 預測

既然號碼本身不重要,就讓模型看著「歷史軌跡上掛的號碼牌」,去預測新偵測該拿哪一張。

具體來說,對過去的每一條軌跡 TmT^m,隨機發給它一個號碼 kmk_m,1≤km≤K1 \le k_m \le K。新的一幀進來,如果某個偵測屬於第 mm 條軌跡,正確答案就是 kmk_m。

號碼是發給軌跡的提示,所以作者稱為上下文 ID 預測(in-context ID prediction)。這樣一來,不管測試時遇到多少新面孔,要預測的永遠是 1 到 KK 之間的號碼,都在訓練過的範圍裡。號碼怎麼發都可以,只要預測和歷史一致就算對,Figure 1 的三列說的就是這件事。

三個零件

原論文 Figure 2:MOTIP 的整體架構。每一幀各自經過 DETR,得到物體的輸出嵌入(灰色)。左邊是可學習的 ID 字典,有 1 到 K 個一般的號碼和一個代表新物體的特殊符號 S。過去幾幀的物體,嵌入接上各自軌跡的號碼,組成歷史軌跡;目前這一幀的物體則全部接上 S。兩者一起送進 ID 解碼器,輸出每個物體的號碼預測,以 ID 損失監督;DETR 的分類頭和框頭則以偵測損失監督。
原論文 Figure 2(Gao 等人),取自 PDF 第 4 頁,CC BY 4.0。

整個架構只有三個零件。

DETR 偵測器。 用以 ResNet-50 為骨幹的 Deformable DETR。它的好處是解碼器的輸出嵌入,本身就可以當作物體的特徵,不需要另外裁切框、做 RoI 池化。每個物體得到一個 256 維的特徵 ff。

ID 字典。 一組 K+1K + 1 個可學習的 256 維嵌入:

I={i1,i2,⋯ ,iK,ispec}\mathcal{I} = \{i_1, i_2, \cdots, i_K, i_{spec}\}

前 KK 個代表一般的號碼,最後一個 ispeci_{spec} 代表「新物體」。作者沒有用 one-hot 編碼,理由是它不利於訓練,而且號碼的上限會被向量維度綁死。預設 K=50K = 50,只要不少於一幀裡最多的物體數就行。

ID 解碼器。 一個標準的 Transformer 解碼器,自注意力和交叉注意力交錯排列,最後接一個線性分類頭,輸出 K+1K + 1 類的機率。

一個物體怎麼變成一個 token

我們沿著一條軌跡走一遍。

一條已經在追的軌跡,被發了號碼 kmk_m。它過去 TT 幀裡的每一個框,都有一個 DETR 特徵 fmf^m。把特徵和號碼的嵌入直接串接起來:

τtm,km=concat(ftm, ikm)\tau^{m, k_m}_t = \text{concat}\left(f^m_t,\ i_{k_m}\right)

每個 token 都是 512 維,前半是「長什麼樣子」,後半是「掛著幾號」。這條軌跡在過去 TT 幀的所有 token,組成它的歷史。TT 在 DanceTrack 上是 29 幀,SportsMOT 是 59 幀。

目前這一幀的偵測,還不知道是誰,所以統一接上新物體的符號:

τtn=concat(ftn, ispec)\tau^n_t = \text{concat}\left(f^n_t,\ i_{spec}\right)

接著,目前的偵測當作查詢、所有歷史 token 當作鍵和值,送進 ID 解碼器。解碼器裡的交叉注意力,讓每個偵測去歷史裡找「長得最像的那串 token 掛著幾號」;自注意力則讓同一幀的偵測彼此交換資訊,避免兩個長得很像的人搶同一個號碼。最後分類頭輸出每個偵測屬於每個號碼的機率。

如果偵測屬於第 mm 條軌跡,答案是 kmk_m;如果是新出現的人,答案是新物體那一類。關聯就這樣變成了一個 K+1K + 1 類的分類問題,可以直接用交叉熵訓練,和 DETR 的偵測損失加在一起:

L=λclsLcls+λL1LL1+λgiouLgiou+λidLid\begin{aligned} \mathcal{L} = {} & \lambda_{cls}\mathcal{L}_{cls} + \lambda_{L1}\mathcal{L}_{L1} \\ & + \lambda_{giou}\mathcal{L}_{giou} + \lambda_{id}\mathcal{L}_{id} \end{aligned}

四個權重分別是 2、5、2、1。

推論:號碼牌怎麼發、怎麼收

推論時的流程很直接:

  1. 號碼從 1 到 KK 依序發給軌跡,彼此不重複。軌跡結束了,它的號碼就收回來給新軌跡用。所以影片再長、出現的人再多,只要同一時間在追的軌跡不超過 KK 條就行。
  2. DETR 的輸出先用信心 0.3 過濾。
  3. 剩下的偵測送進 ID 解碼器,各自挑機率最高、而且超過 0.2 的號碼。
  4. 同一幀裡如果兩個偵測挑了同一個號碼,只留信心比較高的那個。
  5. 沒拿到號碼、偵測信心又超過 0.6 的,當作新物體,發一張新的號碼牌。

預設不用匈牙利演算法。作者認為,更複雜的指派策略也許能再提升一點,但他們想驗證的是模型本身的能力。

作者也統計過,大多數情況下號碼的使用率不到 40%。真的遇到極度擁擠的場景,把 KK 調大即可,就像 DETR 預設用 300 個查詢一樣。

訓練時,故意製造錯誤

訓練時,歷史軌跡是用真值建起來的,每一條都乾乾淨淨。推論時卻不是這樣。人會被遮住,模型也會發錯號碼,錯誤還會寫進之後的歷史。

原論文 Figure 3:兩種軌跡增強。左邊是軌跡隨機遮擋:綠色軌跡中間連續幾個 token 被遮罩蓋掉。右邊是軌跡隨機交換:綠色和藍色兩條軌跡在某些幀的號碼被互換。
原論文 Figure 3(Gao 等人),取自 PDF 第 5 頁,CC BY 4.0。

為了讓模型習慣不完美的歷史,作者加了兩種軌跡增強:

  • 隨機遮擋: 以機率 λocc\lambda_{occ} 把一條軌跡中間的一段 token 拿掉,模擬人被擋住。
  • 隨機交換: 以機率 λsw\lambda_{sw} 把同一幀裡兩條軌跡的號碼互換,模擬模型把相似的人配錯。

兩者都設為 0.5。

另外,因為偵測和關聯是分開的兩個模組,訓練可以平行處理。每次取一段 T+1T + 1 幀的片段,每一幀的 DETR 可以同時前向計算,ID 解碼器則用注意力遮罩確保看不到未來;只有其中 4 幀的 DETR 需要反向傳播。作者用 8 張 RTX 4090,在 DanceTrack 上訓練不到一天。

討論

作者刻意讓比較的條件一致,主要結果都用 Deformable DETR 加 ResNet-50,而且不用額外的偵測資料集。他們認為,把 CrowdHuman 這類靜態圖片平移成假影片來訓練,對端到端、特別是需要長時間建模的方法並不好。

DanceTrack

方法HOTADetAAssAIDF1
OC-SORT55.180.338.354.6
C-BIoU60.681.345.461.6
DiffMOT62.382.547.263.0
MeMOTR63.477.052.365.5
CO-MOT65.380.153.566.5
MOTIP69.680.460.474.7
MOTRv2(額外資料)69.983.059.071.7
MOTIP(額外資料)72.081.863.576.8

整理自原論文 Table 1,DanceTrack 測試集。

MOTIP 不用額外資料就拿到 69.6,比同樣用 Deformable DETR 的 CO-MOT 高 4.3 分,AssA 高 6.9 分,IDF1 更高出 8 分以上。用了額外資料的版本則到 72.0,超過 MOTRv2。

表上 MeMOTR 的 63.4,是它換成標準 Deformable DETR 的版本;MeMOTR 論文主表用 DAB-Deformable-DETR 報告的是 68.5。即使和 68.5 比,MOTIP 還是高出一截,但兩者的偵測框架並不相同。

SportsMOT 與鳥群

在 SportsMOT 上,只用訓練集,MOTIP 的 HOTA 是 72.6、AssA 63.2,高於同樣條件的 OC-SORT(68.1)和 MeMOTR 的 Deformable DETR 版本(68.8),也高於用了額外資料的 DiffMOT(72.1)。

不過,SportsMOT 上表現最好的是 Deep-EIoU 那一派的作法:它用 YOLOX 在訓練集加驗證集上訓練偵測器,再加上 ReID 模型,HOTA 是 77.2。兩者的訓練資料和偵測器都不同,不能直接比,但也提醒我們,在運動場景,一個強的偵測器加上簡單的規則,仍然很有競爭力。

作者另外測了一個鳥類追蹤資料集 BFT,有 22 種鳥、106 段影片。鳥在三維空間裡飛,動作比地面上的人更不規則,彼此也沒有衣服可以分辨。MOTIP 的 HOTA 是 70.5,OC-SORT 是 66.8,ByteTrack 是 62.5。

自注意力和匈牙利演算法

消融在 DanceTrack 的驗證集上做:

自注意力匈牙利軌跡增強HOTAAssA
57.743.9
✓59.747.2
✓59.547.2
✓✓59.947.9
✓✓62.251.5
✓✓✓62.251.8

整理自原論文 Table 4,DanceTrack 驗證集。

  1. 沒有自注意力時,匈牙利演算法有用。 從 57.7 升到 59.7。沒有自注意力,每個偵測各自挑號碼,彼此不知道對方挑了什麼,需要一個全域的指派來避免衝突。
  2. 有了自注意力,匈牙利演算法就幾乎沒用了。 只多 0.4 分,加上軌跡增強後更是完全一樣。作者的解釋是,自注意力讓同一幀的偵測在解碼時就互相交換了身分資訊,模型自己學會了做全域的指派。
  3. 軌跡增強加了 2.7 分。 從 59.5 到 62.2,是這張表上最大的一步。

軌跡增強的比例也要拿捏。只加隨機遮擋時,0.5 最好(60.7),遮到 1.0 反而降到 58.6;在遮擋 0.5 的基礎上加隨機交換,0.5 最好(62.2),0.8 就掉到 59.8。

和 ReID 比

MOTIP 也是用物體特徵來追蹤,看起來很像一種 ReID 方法。作者把它和兩種常見的 ReID 訓練方式比較,一種是 FairMOT 的分類式,一種是對比學習式,推論時都用餘弦相似度。

在凍結 DETR、只訓練關聯部分的設定下,FairMOT 式的 HOTA 只有 29.4,對比學習式 41.0,MOTIP 的 ID 預測是 55.4。全部參數一起訓練時,ReID 方法即使加上匈牙利演算法、再加一個和 ID 解碼器同樣結構的軌跡強化模組,最好也只有 54.5,MOTIP 是 59.5。

同樣的特徵,換成「看著上下文預測號碼」的訓練方式,差了 5 分以上。作者認為,ReID 方法用人寫的規則整合歷史資訊、各自計算相似度,限制了模型的彈性;MOTIP 則讓模型自己決定怎麼看歷史軌跡。

限制

在 MOT17 上,MOTIP 的 HOTA 是 59.3,在端到端方法中和 CO-MOT(60.1)、MOTRv3(60.2)差不多,但明顯落後 ByteTrack(63.1)這類啟發式方法。作者的解釋是,MOT17 只有 7 段訓練影片,對需要從資料學習的方法太少;而啟發式方法已經針對行人的線性運動打磨了將近十年。

速度方面,在一張 RTX A5000 上,MOTIP 以 FP32 是每秒 12.7 幀,和 MOTR 的 13.1 差不多;改用 FP16 可以到 22.8 幀。

作者也說明,這個設計刻意保持簡單,目的是驗證「把追蹤當成 ID 預測」這個想法可行,還有很多空間可以加上運動、深度等其他線索。

結論

MOTIP 把多目標追蹤的關聯,改寫成一個上下文 ID 預測問題。號碼隨機發給歷史軌跡,模型只要看著這些號碼,預測新偵測該拿哪一張。整個模型只有 DETR、一本 ID 字典和一個標準的 Transformer 解碼器,沒有卡爾曼濾波、沒有成本矩陣,連匈牙利演算法都不需要,卻在 DanceTrack、SportsMOT 和鳥類追蹤上都超過了先前的方法。

消融裡最有意思的,是匈牙利演算法的失效。這個從 SORT 開始就一直在的元件,在 MOTIP 裡被一層自注意力取代了。

回頭看,評估指標其實早就是這樣看待 ID 的。CLEAR MOT 一幀一幀地建立對應,IDF1 在整段影片上把真實身分和計算身分一對一配對,它們都不在乎追蹤器給的是 3 號還是 87 號,只在乎同一個人有沒有一直拿著同一張號碼牌。MOTIP 只是讓模型也用同樣的方式理解 ID。