返回論文筆記資料庫
arXiv 2021CVPR 2022多目標追蹤論文筆記

TrackFormer

一人一個查詢

原始論文

TrackFormer: Multi-Object Tracking with Transformers

論文作者

Tim Meinhardt · Alexander Kirillov · Laura Leal-Taixe · Christoph Feichtenhofer

發表版本
CVPR 2022會議
arXiv 首次提交
arXiv:2101.02702
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingtrackformer2021,
  title = {{TrackFormer: Multi-Object Tracking with Transformers}},
  author = {Tim Meinhardt and Alexander Kirillov and Laura Leal-Taixe and Christoph Feichtenhofer},
  year = {2021},
  eprint = {2101.02702},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2101.02702}
}
本頁內容

2019 年的 Tracktor 證明,偵測器的框迴歸頭可以直接把上一幀的框推到這一幀,追蹤幾乎不用另外訓練。CenterTrack 換成中心點和位移,也是同樣的路線。作者把這類方法叫做「迴歸式追蹤」(tracking-by-regression)。

但這類方法要拿到頂尖成績,最後都得補上別的東西。Tracktor 要加 re-ID 和運動模型,其他方法要接圖最佳化。原因是每個框的迴歸都是獨立、局部的,框本身不知道自己是誰,也不知道旁邊其他軌跡在做什麼。

2020 年,DETR 把物件偵測寫成集合預測。一組可學習的物件查詢(object query),經過 Transformer 解碼器,直接輸出一組不重複的框,不需要錨框,也不需要非極大值抑制。

Tracktor 的兩位作者,慕尼黑工業大學的 Tim Meinhardt 和 Laura Leal-Taixé,與 Facebook AI Research 的 Alexander Kirillov、Christoph Feichtenhofer 合作,把這個想法搬到追蹤上。如果一個查詢可以代表一個物體,那讓它跟著物體走到下一幀,不就是追蹤了嗎?

定義問題

一段影片裡有 KK 個物體,每個物體 kk 有一條軌跡 Tk=(bt1k,bt2k,… )T_k = (b^k_{t_1}, b^k_{t_2}, \dots),記錄它從進入到離開畫面期間每一幀的框,包括被遮擋的那些幀。

作者把多目標追蹤寫成一個逐幀的集合預測問題。每一幀,模型要輸出一組帶身分的框,包括已經在追的物體現在在哪裡,以及哪些是新出現的物體。

偵測、身分維持、新軌跡的建立,全部在同一次解碼裡完成,不需要另外的配對步驟、圖最佳化,也不需要明確建模外觀或運動。作者把這個新範式稱為「注意力式追蹤」(tracking-by-attention)。

解決問題

原論文 Figure 1:TrackFormer 示意。三個連續幀依序經過 CNN 與 Transformer,每個方塊是一個輸出嵌入,對應畫面中的一個人。第一幀有紅、綠、藍三人;第二幀延續這三個身分,並多出一個新出現的紫色;第三幀藍色的人離開畫面,只剩紫、紅、綠。前一幀的輸出嵌入以箭頭送進下一幀的 Transformer。
原論文 Figure 1(Meinhardt 等人),取自 PDF 第 1 頁,CC BY 4.0。

架構

TrackFormer 的骨架就是 Deformable DETR:

  1. ResNet-50 抽取影像特徵。
  2. Transformer 編碼器,6 層,對影像特徵做自注意力。
  3. Transformer 解碼器,6 層,查詢之間做自注意力,再對編碼後的影像特徵做交叉注意力。
  4. MLP 把每個輸出嵌入映射成框和類別。

和 DETR 不同的地方,全在解碼器的查詢上。

兩種查詢

原論文 Figure 2:TrackFormer 的逐幀流程。在 t = 0,解碼器把一組物件查詢(白色)轉成輸出嵌入,偵測到物體的嵌入成為帶顏色的軌跡查詢,其餘預測為背景(打叉)。在 t − 1 與 t,解碼器同時處理物件查詢與上一幀傳來的軌跡查詢,延續或移除既有軌跡,並以物件查詢偵測新物體(紫色)。
原論文 Figure 2(Meinhardt 等人),取自 PDF 第 4 頁,CC BY 4.0。

物件查詢(object query) 和 DETR 一樣,是一組固定、可學習的嵌入,負責在任何一幀發現新的物體。MOT17 每幀最多 52 人,作者用了 500 個物件查詢;查詢數要遠多於畫面裡的物體數,效果才會好。

軌跡查詢(track query) 是這篇的核心。某一幀裡,一個物件查詢偵測到物體(分類分數大於 0.4),它在解碼器最後一層的輸出嵌入,就直接成為下一幀的一個軌跡查詢,並帶著一個身分編號。

下一幀,解碼器同時處理 Nobject+NtrackN_{object} + N_{track} 個查詢。軌跡查詢透過交叉注意力,去新影像裡找自己的物體,輸出更新後的框;更新後的嵌入再傳到下下一幀。身分就這樣一幀一幀地自迴歸傳下去,從頭到尾沒有任何配對。

兩種查詢之間的自注意力也有作用。物件查詢「看得到」軌跡查詢,所以不會把已經在追的人重新偵測一次。

為了讓軌跡查詢更容易找到自己的物體,實作上還有兩個細節。軌跡查詢在 deformable attention 裡的參考點,直接設成上一幀框的中心;解碼器的交叉注意力同時看上一幀和這一幀的特徵圖,用時間編碼區分。

軌跡的結束與找回

軌跡查詢的分類分數掉到 0.4 以下,或和另一個框的 IoU 超過 0.9 時,就會被移除。作者發現,有些嚴重重疊的重複框,解碼器的自注意力處理不掉,所以保留了這個很寬鬆的非極大值抑制。

被移除的軌跡查詢不會馬上丟掉,而是再繼續解碼 5 幀,但這段期間不輸出結果。只要它的分數重新回到 0.4 以上,就恢復成正常的軌跡。這是一種短時間的重新辨識,靠的還是同一套注意力,不需要額外訓練 re-ID。

但軌跡查詢裡帶著位置資訊,物體被遮擋太久、移動太遠,就找不回來了。

訓練

軌跡查詢要學會跟著物體走,必須用相鄰兩幀訓練:

  1. 在第 t−1t-1 幀,只用物件查詢做偵測。
  2. 偵測到的物體變成軌跡查詢,和物件查詢一起送進第 tt 幀。

第 tt 幀的每個輸出要指派給一個真實物體或背景。設 Kt−1K_{t-1}、KtK_t 是兩幀各自的真實身分集合,指派規則是:

  • Kt∩Kt−1K_t \cap K_{t-1}(兩幀都在):軌跡查詢直接按身分對應,這是硬指派。
  • Kt−1∖KtK_{t-1} \setminus K_t(上一幀有、這一幀消失):對應的軌跡查詢要預測成背景。
  • Kt∖Kt−1K_t \setminus K_{t-1}(新出現):交給物件查詢,用 DETR 的匈牙利演算法找最小成本的配對。

配對成本由類別機率和框的差異組成:

Cmatch=−λcls p^σ(i)(ci)+Cbox(bi,b^σ(i))\mathcal{C}_{match} = -\lambda_{cls}\,\hat{p}_{\sigma(i)}(c_i) + \mathcal{C}_{box}(b_i, \hat{b}_{\sigma(i)})

其中框的成本結合 L1 距離與廣義 IoU:

Cbox=λℓ1∥bi−b^σ(i)∥1+λiou Ciou(bi,b^σ(i))\mathcal{C}_{box} = \lambda_{\ell_1}\big\|b_i - \hat{b}_{\sigma(i)}\big\|_1 + \lambda_{iou}\,\mathcal{C}_{iou}(b_i, \hat{b}_{\sigma(i)})

指派完成後,每個查詢的損失是

Lquery={−λclslog⁡p^i(cπ=i)+Lbox,i∈π−λclslog⁡p^i(0),i∉π\mathcal{L}_{query} = \begin{cases} -\lambda_{cls}\log\hat{p}_i(c_{\pi=i}) + \mathcal{L}_{box}, & i \in \pi \\ -\lambda_{cls}\log\hat{p}_i(0), & i \notin \pi \end{cases}

沒被指派到的查詢,一律當作背景。

三種擴增

只用相鄰兩幀訓練,模型看到的追蹤情境太單純。作者加了三種擴增:

  • 拉大幀距。 第 t−1t-1 幀不一定是緊鄰的前一幀,而是從 tt 附近一段範圍內抽樣,模擬鏡頭移動和低幀率。
  • 漏偵測。 以機率 pFNp_{FN} 拿掉一些軌跡查詢,讓這些物體在第 tt 幀要由物件查詢重新偵測。這是讓兩種查詢能一起訓練的關鍵。
  • 誤報。 以機率 pFPp_{FP} 為某個軌跡查詢多加一個假的軌跡查詢,取自上一幀被判為背景、而且和它重疊很多的輸出嵌入。這是在練習遮擋時把軌跡移除。

資料

Transformer 需要大量資料,MOT17 只有 7 段訓練影片。作者跟 CenterTrack 一樣,用 CrowdHuman 的單張影像模擬相鄰兩幀,對同一張圖做隨機縮放與裁切,幅度最多 20%。

私有偵測的模型,先在 CrowdHuman 上從頭訓練 85 個 epoch,再混合 CrowdHuman 和 MOT17 微調 40 個 epoch,在 7 張 32GB 的 GPU 上大約要兩天。

討論

元件消融

設定MOTAΔIDF1Δ
完整的 TrackFormer71.373.4
拿掉 CrowdHuman 預訓練69.3−2.071.8−1.6
再拿掉軌跡查詢的重新辨識69.2−0.170.4−1.4
再拿掉誤報擴增68.4−0.870.0−0.4
再拿掉幀距擴增64.0−4.459.2−10.8
再拿掉軌跡查詢61.0−3.045.1−14.1

整理自原論文 Table 3,MOT17 訓練集前後各半切分,私有偵測;每一列都在上一列的基礎上再拿掉一項。

這張表是逐列累加的,每一列都比上一列少一個元件。

幾種訓練技巧裡,拉大幀距的擴增影響最大,拿掉之後 MOTA 掉 4.4 分、IDF1 掉 10.8 分。只用緊鄰兩幀訓練,模型很快就過擬合,學不到物體移動較大時該怎麼跟。

最後一列連軌跡查詢都拿掉,模型只訓練偵測,改用 CenterTrack 那種中心距離的貪婪配對,IDF1 又掉了 14.1 分。這一列代表的就是以往靠規則配對的作法。

MOT17 與 MOT20

原論文 Table 1:MOT17 與 MOT20 測試集的比較,欄位為額外訓練資料、速度、MOTA、IDF1、MT、ML、FP、FN、ID 切換。MOT17 公開偵測:TrackFormer MOTA 62.3、IDF1 57.6、ID 切換 4,018、7.4 FPS;CenterTrack 60.5、55.7、2,540;TMOH 62.1、62.8。MOT17 私有偵測:TrackFormer(CrowdHuman)74.1、68.0、ID 切換 2,829;CenterTrack 67.8、64.7;QuasiDense 68.7、66.3;用了 6 個額外追蹤資料集的 FairMOT 73.7、72.3,GRTU 75.5、76.9,TLR 76.5、73.6。MOT20 私有偵測:TrackFormer 68.6、65.7;SOTMOT 68.6、71.4;ReMOT 77.4、73.1。
原論文 Table 1(Meinhardt 等人),取自 PDF 第 7 頁,CC BY 4.0。

私有偵測下,TrackFormer 在 MOT17 拿到 MOTA 74.1、IDF1 68.0。在只用 CrowdHuman 當額外資料的方法裡,它的 MOTA 比次佳的 TraDeS 高 5.0 分,比 CenterTrack 高 6.3 分。FN 只有 108,777,比 CenterTrack 少了五萬多,召回率高很多。

但表上還有幾個用了 6 個額外追蹤資料集的方法,像 FairMOT、GRTU、TLR,IDF1 都比它高。MOT20 上,MOTA 和 SOTMOT 打平,但比 ReMOT 低了將近 9 分,IDF1 也落後。

速度是每秒 7.4 幀,比 CenterTrack 的 17.7 慢了一半以上。

公開偵測怎麼比

TrackFormer 不是吃偵測框做關聯的方法,沒辦法直接拿公開偵測當輸入。作者改用過濾的方式,只有和某個公開偵測框 IoU 大於 0.5 的物件查詢,才能開新軌跡。

CenterTrack 也有類似的過濾,但用的是中心點,公開偵測的中心落在框內就算。作者在附錄裡比較了兩種過濾,發現中心點的版本下,三種品質差很多的公開偵測(DPM、FRCNN、SDP)跑出來的結果幾乎一樣,等於偵測的好壞沒有反映出來。IoU 的版本比較嚴格,分數都會降低,但更接近「用公開偵測當輸入」的原意。

在 IoU 過濾下,TrackFormer 的 MOTA 62.3,和最好的線上方法相當;但 ID 切換 4,018,是表上最多的。

加上遮罩

TrackFormer 也能加一個分割頭,在 MOTS20 上做多目標追蹤與分割。作者發現,和遮罩一起訓練之後,即使只看框的追蹤,IDF1 也會多 1.2 分,遮罩資訊幫忙解決了訓練時一些模稜兩可的遮擋情況。

限制與後來

TrackFormer 只在相鄰兩幀上訓練,軌跡查詢學到的時間資訊很短。作者自己在論文裡也寫了,超越兩幀訓練與推論的方法,應該很有潛力。

幾個月後的 MOTR 就是這麼做的,它把訓練拉長到一整段短片,讓軌跡查詢跨多幀傳遞,並把軌跡的 NMS 和重新辨識這類規則都拿掉。另外,MOTR 和後來的 MOTRv2 在比較表裡引用的 TrackFormer 成績,是 MOT17 上 MOTA 65.0、IDF1 63.9,那是較早版本的數字;正式版用 CrowdHuman 模擬相鄰幀訓練之後,才升到這裡的 74.1 和 68.0。

結論

TrackFormer 讓一個查詢代表一個物體,偵測到之後就跟著它一幀一幀往下走。新物體交給物件查詢,舊物體交給軌跡查詢,兩者在同一個解碼器裡互相看得見,配對這個步驟就這樣消失了。

它的數字並不是全面領先,速度也慢。但它示範了另一種追蹤的寫法,之後 MOTR、MOTRv2 都是在這個寫法上繼續做的。

兩年前,Meinhardt 和 Leal-Taixé 用 Tracktor 示範了不針對追蹤訓練也能追得很好。這一次,追蹤變成要在七張 GPU 上訓練兩天的事。