MOTR: End-to-End Multiple-Object Tracking with Transformer
- 發表版本
- ECCV 2022會議
- arXiv 首次提交
- arXiv:2105.03247
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingmotr2021,
title = {{MOTR: End-to-End Multiple-Object Tracking with Transformer}},
author = {Fangao Zeng and Bin Dong and Yuang Zhang and Tiancai Wang and Xiangyu Zhang and Yichen Wei},
year = {2021},
eprint = {2105.03247},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2105.03247}
}
前面讀過的追蹤器,不管用了多少深度學習,最後都有一段手寫的關聯步驟。
SORT 用 IoU 加匈牙利演算法,DeepSORT 加上外觀距離和匹配級聯,FairMOT 沿用兩階段配對,CenterTrack 用位移倒推再做貪婪配對。運動靠卡爾曼濾波或學出來的位移,外觀靠 re-ID 特徵,兩者怎麼組合、門檻設多少,都是人決定的。這段後處理擋在中間,時間上的資訊沒辦法端到端地流過去。
2020 年,DETR 把物件偵測改寫成集合預測。一組可學習的物件查詢(object query)和影像特徵互動,每個查詢輸出一個框,再用二分圖匹配和真實框一對一配對,連非極大值抑制都不用。
偵測可以不要後處理,那追蹤呢?
曠視(MEGVII)與上海交通大學的 Fangao Zeng、Bin Dong、Yuang Zhang、Tiancai Wang 等人提出 MOTR,嘗試讓追蹤器從頭到尾都不需要任何手寫的配對。
定義問題
作者從機器翻譯得到靈感。翻譯模型用一個隱藏狀態代表目前的上下文,解碼器反覆讓這個狀態和輸入特徵互動,一個一個輸出翻譯的詞。
多目標追蹤也可以看成類似的問題,輸出的是一組序列,每條序列是一個物體的軌跡。如果每條軌跡也有一個隱藏狀態,一幀一幀地和影像特徵互動、一幀一幀地輸出框,ID 就自然跟著這個隱藏狀態走,不需要再配對。
MOTR 把 DETR 的物件查詢延伸成軌跡查詢(track query),當作軌跡的隱藏狀態。這樣做要先解決兩個問題:
- 一個查詢怎麼一直追同一個物體? DETR 的物件查詢每一幀都可能被分配給畫面中任何一個物體,沒有身分的概念。
- 新出現和離開的物體怎麼辦? 畫面裡的物體數量一直在變,軌跡查詢的數量也得跟著變。
解決問題
兩種查詢

MOTR 把查詢分成兩種,我們跟著這張圖走一遍:
- 偵測查詢(detect query): 就是 DETR 原本那組固定數量、可學習的物件查詢,每一幀都一樣。它們只負責找新出現的物體。
- 軌跡查詢(track query): 數量可變的一組查詢,每一個代表一條已經在追的軌跡。
T1: 一開始還沒有任何軌跡,軌跡查詢是空的。只有偵測查詢送進解碼器,其中兩個找到了物體 1 和物體 2。
T2: 找到物體 1、2 的那兩個查詢,經過解碼器後的隱藏狀態,變成下一幀的軌跡查詢。T2 時,解碼器的輸入是「兩個軌跡查詢 + 一組偵測查詢」。兩個軌跡查詢各自輸出物體 1、2 的新框,ID 不變;偵測查詢裡有一個找到了新出現的物體 3。
T3: 物體 3 的隱藏狀態也加入軌跡查詢,現在有三個。
T4: 物體 2 離開了,它的軌跡查詢從集合中移除。
整個過程中,每個軌跡查詢從誕生到移除都只代表一個物體。追蹤的結果,就是同一個軌跡查詢在每一幀輸出的框連起來。
標籤怎麼分配
訓練時,DETR 用二分圖匹配決定每個查詢該負責哪個真實物體。MOTR 把這件事改成「軌跡感知的標籤分配」(Tracklet-Aware Label Assignment, TALA),兩種查詢分開處理:
- 偵測查詢: 只和這一幀新出現的物體做二分圖匹配。
- 軌跡查詢: 不參與匹配,直接沿用上一幀的分配。上一幀負責物體 1 的查詢,這一幀還是負責物體 1。
寫成式子,第 幀軌跡查詢的分配 ,是上一幀軌跡查詢的分配加上上一幀新物體的分配:
推論時沒有標籤,偵測查詢怎麼知道不要去找已經在追的物體?兩種查詢會一起送進解碼器,自注意力會壓低那些找到已追蹤物體的偵測查詢的分數。這和 DETR 不用 NMS 也不會輸出重複框的道理相同。
整體架構

骨幹是 ResNet-50,偵測框架是 Deformable DETR。每一幀經過骨幹和 Transformer 編碼器得到特徵;解碼器的輸入是上一幀的軌跡查詢串接偵測查詢,輸出的隱藏狀態一方面用來預測框和類別,另一方面送進查詢互動模組(Query Interaction Module, QIM),產生下一幀的軌跡查詢。
QIM 負責兩件事。
物體的進出。 訓練時,若某個物體在真實標註中消失,或預測框和真實框的 IoU 低於 0.5,它的隱藏狀態就被丟掉;新物體則依偵測查詢的匹配結果保留。推論時改用分類分數:偵測查詢的分數高於進場門檻 ,才變成新的軌跡;軌跡查詢的分數連續 幀低於退場門檻 ,才被移除。
時間聚合網路(Temporal Aggregation Network, TAN)。這是一層修改過的 Transformer 解碼器層。對每個已追蹤的物體,把上一幀的軌跡查詢和這一幀的隱藏狀態相加,作為多頭自注意力的 query 和 key,這一幀的隱藏狀態作為 value,再經過前饋網路。這給軌跡查詢一條捷徑,把歷史資訊帶進來。TAN 的輸出再和新物體的隱藏狀態串接,成為下一幀的軌跡查詢。
用整段影片算損失
卡爾曼濾波的等速度假設是人寫的;MOTR 的運動模型要從資料學。但如果只用相鄰兩幀訓練,網路只看得到很短的運動,學不到遮擋後重新出現這類長時間的變化。
作者提出集體平均損失(Collective Average Loss, CAL)。訓練時一次輸入一段影片片段,收集每一幀的預測,算完整段的損失後,再除以整段影片中真實物體的總數:
是第 幀的真實物體數。單幀損失 和 DETR 一樣,是 focal loss、L1 損失與 GIoU 損失的加權和。
片段長度從 2 幀開始,訓練過程中逐步增加到 3、4、5 幀。作者說,這種漸進的增加能提升訓練效率與穩定性。
幾個訓練技巧
真實影片裡,新物體出現和舊物體離開的情況都不多。作者用兩個隨機操作製造更多樣本:
- 以機率 隨機刪掉一些軌跡查詢,讓偵測查詢有機會練習「找新物體」。
- 以機率 把誤報的查詢插進軌跡查詢,讓模型練習「讓不存在的物體退場」。
另外,訓練片段的幀不是連續取的,而是以隨機間隔抽樣,模擬不同的幀率與較大的運動。
和同期的 TransTrack、TrackFormer 相比,作者強調 MOTR 完全不需要後處理。TransTrack 在相鄰兩幀偵測成對的短軌跡,再用 IoU 配對串成長軌跡;TrackFormer 也有軌跡查詢的想法,但只在相鄰兩幀之間學習,仍需要軌跡 NMS 和 re-ID 特徵來過濾重複的軌跡。作者也特別聲明,這項工作在 TrackFormer 和 TransTrack 上傳 arXiv 之前就已獨立開始。
討論
MOTR 在 8 張 V100 上訓練,每批一段 5 幀的片段。在 MOT17 上訓練 200 個 epoch,資料是 MOT17 訓練集加上 CrowdHuman 驗證集約 5000 張靜態影像(沿用 CenterTrack 的隨機位移產生偽片段)。輸入影像短邊縮放到 800,推論速度在 V100 上約 7.5 FPS。
MOT17:一個尷尬的結果
在 MOT17 測試集上,MOTR 的 HOTA 是 57.8,IDF1 68.6,MOTA 73.4,ID 切換 2439。
和同為 Transformer 的方法比,IDF1 比 TransTrack 和 TrackFormer 都高 4.7;HOTA 比 TransTrack 高 3.7,MOTA 比 TrackFormer 的 65.0 高得多。但 TransTrack 的 MOTA(74.5)比 MOTR 高。作者推測,TransTrack 把偵測和追蹤分成兩個分支,偵測表現比較好;MOTR 的偵測查詢會被軌跡查詢壓制,新物體的偵測受到限制。
和 CNN 方法比就更尷尬了。ByteTrack 的 HOTA 63.1、MOTA 80.3、IDF1 77.3,MOTR 每一項都輸。作者在論文裡直接用了「frustratingly inferior」形容。他們的解釋是,MOT17 上的成績主要由偵測品質決定,而各家用的偵測器不同,很難公平比較運動建模的能力,所以 MOT17 不足以完整評估 MOTR。
DanceTrack:主場

DanceTrack 是一個舞蹈場景的資料集,舞者穿著相似、動作複雜、頻繁交錯,偵測不難,難在關聯。
這裡 MOTR 的 HOTA 是 54.2,比 ByteTrack 的 47.7 高 6.5;AssA 40.2 對 32.1,高了 8.1。但 DetA 73.5 低於 CenterTrack 的 78.1 和 TransTrack 的 75.9,MOTA 79.7 更是全表最低。
這張表把 MOTR 的強項和弱點並排得很清楚。AssA 高,代表軌跡查詢確實學到了跨幀維持身分;DetA 和 MOTA 低,代表它找物體的能力不如其他方法。這正好呼應前一篇 HOTA 筆記講的,看 HOTA 的時候要順手看 DetA 和 AssA。
在多類別的 BDD100K 驗證集上,MOTR 的 mMOTA 是 32.0,ID 切換 3493,比基準方法的 8315 少很多。作者認為,以 re-ID 為主的方法很難處理類別與物體數量很多的情況,MOTR 只要改分類頭的類別數就能處理多類別追蹤。
消融:每個設計值多少

消融實驗在 MOT17 訓練集上訓練,在 MOT15 訓練集上驗證。
左表從最原始的版本開始。只有物件查詢、沒有軌跡查詢時,每一幀的物體都被當成新物體,ID 切換高達 33198 次,IDF1 只有 1.2。加上軌跡查詢後,IDF1 升到 49.8,ID 切換降到 562。軌跡查詢本身就讓追蹤成立了。
TAN 和 CAL 各自都有幫助。只加 TAN,MOTA 多 7.8、IDF1 多 13.6;只加 CAL,MOTA 多 10.4。兩者都加,MOTA 53.2、IDF1 70.5、ID 切換 155。
右表是 CAL 的片段長度。從 2 幀增加到 5 幀,MOTA 從 44.9 升到 53.2,IDF1 從 63.4 升到 70.5,ID 切換從 257 降到 155。中間的過程並不平順,長度 3 時 IDF1 還掉到 59.4、ID 切換增加到 424,但最長的 5 幀在三項指標上都最好。作者觀察到,多幀的 CAL 明顯減少了遮擋場景中的重複框、ID 切換和漏檢。
還有幾組訓練技巧的消融。隨機刪除軌跡查詢的機率 在 0.1 時最好;插入誤報查詢的機率 在 0.3 時 MOTA 最高,但 IDF1 從 0.1 開始就一路下降。訓練時的隨機抽樣間隔以 10 最好,ID 切換 155;間隔 3 和 5 分別是 218 和 324,間隔 12 又略為變差。作者認為間隔太小容易陷入局部最佳,太大則學不到這麼長距離的變化。
作者自己承認的限制
作者在論文最後列了兩個限制。第一,偵測新物體的能力遠不理想,MOTA 不夠好。偵測查詢被壓制、不去找已追蹤的物體,這可能違反了物件查詢的本性,也限制了新物體的偵測。第二,查詢在幀與幀之間依序傳遞,訓練效率受限;他們試過 VisTR 那種平行解碼,無法處理多目標追蹤的複雜情況。
後來
第一個限制很快就有了回應。一年多後,同一個團隊發表 MOTRv2,把預訓練的 YOLOX 偵測結果當作錨框式的查詢送進 MOTR,讓偵測交給專門的偵測器,MOTR 專心做關聯。端到端追蹤和偵測之間的衝突,後來也成了這條路線反覆討論的主題,MeMOTR、MOTIP 等後續方法都以 MOTR 一系為比較對象。
ByteTrack 則從另一個方向印證了 MOTR 在 MOT17 上的處境。同樣在 MOT17 上,一個好的偵測器加上一套細心設計的配對規則,就能拿到 MOTR 拿不到的分數。
結論
把 DETR 的物件查詢延伸成跟著物體走的軌跡查詢,用 TALA 分配標籤,用 QIM 處理進出與時間聚合,用整段影片的集體平均損失訓練。MOTR 從頭到尾不需要任何手寫的配對規則,在關聯困難的 DanceTrack 上,HOTA 比 ByteTrack 高 6.5。
代價寫在 DetA 和 MOTA 那兩欄。軌跡查詢和偵測查詢擠在同一個解碼器裡,新物體比較難被找到;在偵測主導分數的 MOT17 上,它就輸給了簡單得多的 ByteTrack。
至於論文裡那句「frustratingly inferior」,大概是這一系列論文裡最誠實的一句話。