TrackFormer: Multi-Object Tracking with Transformers
- 發表版本
- CVPR 2022會議
- arXiv 首次提交
- arXiv:2101.02702
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingtrackformer2021,
title = {{TrackFormer: Multi-Object Tracking with Transformers}},
author = {Tim Meinhardt and Alexander Kirillov and Laura Leal-Taixe and Christoph Feichtenhofer},
year = {2021},
eprint = {2101.02702},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2101.02702}
}
2019 年的 Tracktor 證明,偵測器的框迴歸頭可以直接把上一幀的框推到這一幀,追蹤幾乎不用另外訓練。CenterTrack 換成中心點和位移,也是同樣的路線。作者把這類方法叫做「迴歸式追蹤」(tracking-by-regression)。
但這類方法要拿到頂尖成績,最後都得補上別的東西。Tracktor 要加 re-ID 和運動模型,其他方法要接圖最佳化。原因是每個框的迴歸都是獨立、局部的,框本身不知道自己是誰,也不知道旁邊其他軌跡在做什麼。
2020 年,DETR 把物件偵測寫成集合預測。一組可學習的物件查詢(object query),經過 Transformer 解碼器,直接輸出一組不重複的框,不需要錨框,也不需要非極大值抑制。
Tracktor 的兩位作者,慕尼黑工業大學的 Tim Meinhardt 和 Laura Leal-Taixé,與 Facebook AI Research 的 Alexander Kirillov、Christoph Feichtenhofer 合作,把這個想法搬到追蹤上。如果一個查詢可以代表一個物體,那讓它跟著物體走到下一幀,不就是追蹤了嗎?
定義問題
一段影片裡有 個物體,每個物體 有一條軌跡 ,記錄它從進入到離開畫面期間每一幀的框,包括被遮擋的那些幀。
作者把多目標追蹤寫成一個逐幀的集合預測問題。每一幀,模型要輸出一組帶身分的框,包括已經在追的物體現在在哪裡,以及哪些是新出現的物體。
偵測、身分維持、新軌跡的建立,全部在同一次解碼裡完成,不需要另外的配對步驟、圖最佳化,也不需要明確建模外觀或運動。作者把這個新範式稱為「注意力式追蹤」(tracking-by-attention)。
解決問題

架構
TrackFormer 的骨架就是 Deformable DETR:
- ResNet-50 抽取影像特徵。
- Transformer 編碼器,6 層,對影像特徵做自注意力。
- Transformer 解碼器,6 層,查詢之間做自注意力,再對編碼後的影像特徵做交叉注意力。
- MLP 把每個輸出嵌入映射成框和類別。
和 DETR 不同的地方,全在解碼器的查詢上。
兩種查詢

物件查詢(object query) 和 DETR 一樣,是一組固定、可學習的嵌入,負責在任何一幀發現新的物體。MOT17 每幀最多 52 人,作者用了 500 個物件查詢;查詢數要遠多於畫面裡的物體數,效果才會好。
軌跡查詢(track query) 是這篇的核心。某一幀裡,一個物件查詢偵測到物體(分類分數大於 0.4),它在解碼器最後一層的輸出嵌入,就直接成為下一幀的一個軌跡查詢,並帶著一個身分編號。
下一幀,解碼器同時處理 個查詢。軌跡查詢透過交叉注意力,去新影像裡找自己的物體,輸出更新後的框;更新後的嵌入再傳到下下一幀。身分就這樣一幀一幀地自迴歸傳下去,從頭到尾沒有任何配對。
兩種查詢之間的自注意力也有作用。物件查詢「看得到」軌跡查詢,所以不會把已經在追的人重新偵測一次。
為了讓軌跡查詢更容易找到自己的物體,實作上還有兩個細節。軌跡查詢在 deformable attention 裡的參考點,直接設成上一幀框的中心;解碼器的交叉注意力同時看上一幀和這一幀的特徵圖,用時間編碼區分。
軌跡的結束與找回
軌跡查詢的分類分數掉到 0.4 以下,或和另一個框的 IoU 超過 0.9 時,就會被移除。作者發現,有些嚴重重疊的重複框,解碼器的自注意力處理不掉,所以保留了這個很寬鬆的非極大值抑制。
被移除的軌跡查詢不會馬上丟掉,而是再繼續解碼 5 幀,但這段期間不輸出結果。只要它的分數重新回到 0.4 以上,就恢復成正常的軌跡。這是一種短時間的重新辨識,靠的還是同一套注意力,不需要額外訓練 re-ID。
但軌跡查詢裡帶著位置資訊,物體被遮擋太久、移動太遠,就找不回來了。
訓練
軌跡查詢要學會跟著物體走,必須用相鄰兩幀訓練:
- 在第 幀,只用物件查詢做偵測。
- 偵測到的物體變成軌跡查詢,和物件查詢一起送進第 幀。
第 幀的每個輸出要指派給一個真實物體或背景。設 、 是兩幀各自的真實身分集合,指派規則是:
- (兩幀都在):軌跡查詢直接按身分對應,這是硬指派。
- (上一幀有、這一幀消失):對應的軌跡查詢要預測成背景。
- (新出現):交給物件查詢,用 DETR 的匈牙利演算法找最小成本的配對。
配對成本由類別機率和框的差異組成:
其中框的成本結合 L1 距離與廣義 IoU:
指派完成後,每個查詢的損失是
沒被指派到的查詢,一律當作背景。
三種擴增
只用相鄰兩幀訓練,模型看到的追蹤情境太單純。作者加了三種擴增:
- 拉大幀距。 第 幀不一定是緊鄰的前一幀,而是從 附近一段範圍內抽樣,模擬鏡頭移動和低幀率。
- 漏偵測。 以機率 拿掉一些軌跡查詢,讓這些物體在第 幀要由物件查詢重新偵測。這是讓兩種查詢能一起訓練的關鍵。
- 誤報。 以機率 為某個軌跡查詢多加一個假的軌跡查詢,取自上一幀被判為背景、而且和它重疊很多的輸出嵌入。這是在練習遮擋時把軌跡移除。
資料
Transformer 需要大量資料,MOT17 只有 7 段訓練影片。作者跟 CenterTrack 一樣,用 CrowdHuman 的單張影像模擬相鄰兩幀,對同一張圖做隨機縮放與裁切,幅度最多 20%。
私有偵測的模型,先在 CrowdHuman 上從頭訓練 85 個 epoch,再混合 CrowdHuman 和 MOT17 微調 40 個 epoch,在 7 張 32GB 的 GPU 上大約要兩天。
討論
元件消融
| 設定 | MOTA | Δ | IDF1 | Δ |
|---|---|---|---|---|
| 完整的 TrackFormer | 71.3 | 73.4 | ||
| 拿掉 CrowdHuman 預訓練 | 69.3 | −2.0 | 71.8 | −1.6 |
| 再拿掉軌跡查詢的重新辨識 | 69.2 | −0.1 | 70.4 | −1.4 |
| 再拿掉誤報擴增 | 68.4 | −0.8 | 70.0 | −0.4 |
| 再拿掉幀距擴增 | 64.0 | −4.4 | 59.2 | −10.8 |
| 再拿掉軌跡查詢 | 61.0 | −3.0 | 45.1 | −14.1 |
整理自原論文 Table 3,MOT17 訓練集前後各半切分,私有偵測;每一列都在上一列的基礎上再拿掉一項。
這張表是逐列累加的,每一列都比上一列少一個元件。
幾種訓練技巧裡,拉大幀距的擴增影響最大,拿掉之後 MOTA 掉 4.4 分、IDF1 掉 10.8 分。只用緊鄰兩幀訓練,模型很快就過擬合,學不到物體移動較大時該怎麼跟。
最後一列連軌跡查詢都拿掉,模型只訓練偵測,改用 CenterTrack 那種中心距離的貪婪配對,IDF1 又掉了 14.1 分。這一列代表的就是以往靠規則配對的作法。
MOT17 與 MOT20

私有偵測下,TrackFormer 在 MOT17 拿到 MOTA 74.1、IDF1 68.0。在只用 CrowdHuman 當額外資料的方法裡,它的 MOTA 比次佳的 TraDeS 高 5.0 分,比 CenterTrack 高 6.3 分。FN 只有 108,777,比 CenterTrack 少了五萬多,召回率高很多。
但表上還有幾個用了 6 個額外追蹤資料集的方法,像 FairMOT、GRTU、TLR,IDF1 都比它高。MOT20 上,MOTA 和 SOTMOT 打平,但比 ReMOT 低了將近 9 分,IDF1 也落後。
速度是每秒 7.4 幀,比 CenterTrack 的 17.7 慢了一半以上。
公開偵測怎麼比
TrackFormer 不是吃偵測框做關聯的方法,沒辦法直接拿公開偵測當輸入。作者改用過濾的方式,只有和某個公開偵測框 IoU 大於 0.5 的物件查詢,才能開新軌跡。
CenterTrack 也有類似的過濾,但用的是中心點,公開偵測的中心落在框內就算。作者在附錄裡比較了兩種過濾,發現中心點的版本下,三種品質差很多的公開偵測(DPM、FRCNN、SDP)跑出來的結果幾乎一樣,等於偵測的好壞沒有反映出來。IoU 的版本比較嚴格,分數都會降低,但更接近「用公開偵測當輸入」的原意。
在 IoU 過濾下,TrackFormer 的 MOTA 62.3,和最好的線上方法相當;但 ID 切換 4,018,是表上最多的。
加上遮罩
TrackFormer 也能加一個分割頭,在 MOTS20 上做多目標追蹤與分割。作者發現,和遮罩一起訓練之後,即使只看框的追蹤,IDF1 也會多 1.2 分,遮罩資訊幫忙解決了訓練時一些模稜兩可的遮擋情況。
限制與後來
TrackFormer 只在相鄰兩幀上訓練,軌跡查詢學到的時間資訊很短。作者自己在論文裡也寫了,超越兩幀訓練與推論的方法,應該很有潛力。
幾個月後的 MOTR 就是這麼做的,它把訓練拉長到一整段短片,讓軌跡查詢跨多幀傳遞,並把軌跡的 NMS 和重新辨識這類規則都拿掉。另外,MOTR 和後來的 MOTRv2 在比較表裡引用的 TrackFormer 成績,是 MOT17 上 MOTA 65.0、IDF1 63.9,那是較早版本的數字;正式版用 CrowdHuman 模擬相鄰幀訓練之後,才升到這裡的 74.1 和 68.0。
結論
TrackFormer 讓一個查詢代表一個物體,偵測到之後就跟著它一幀一幀往下走。新物體交給物件查詢,舊物體交給軌跡查詢,兩者在同一個解碼器裡互相看得見,配對這個步驟就這樣消失了。
它的數字並不是全面領先,速度也慢。但它示範了另一種追蹤的寫法,之後 MOTR、MOTRv2 都是在這個寫法上繼續做的。
兩年前,Meinhardt 和 Leal-Taixé 用 Tracktor 示範了不針對追蹤訓練也能追得很好。這一次,追蹤變成要在七張 GPU 上訓練兩天的事。