返回論文筆記資料庫
arXiv 2024ICLR 2025多目標追蹤論文筆記

SambaMOTR

齊步走

原始論文

Samba: Synchronized Set-of-Sequences Modeling for Multiple Object Tracking

論文作者

Mattia Segu · Luigi Piccinelli · Siyuan Li · Yung-Hsu Yang · Bernt Schiele · Luc Van Gool

發表版本
ICLR 2025會議
arXiv 首次提交
arXiv:2410.01806
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingsamba2024,
  title = {{Samba: Synchronized Set-of-Sequences Modeling for Multiple Object Tracking}},
  author = {Mattia Segu and Luigi Piccinelli and Siyuan Li and Yung-Hsu Yang and Bernt Schiele and Luc Van Gool},
  year = {2024},
  eprint = {2410.01806},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2410.01806}
}
本頁內容

看一段群舞,你會發現舞者很少各跳各的。隊形往左移,所有人一起往左;一個人蹲下,旁邊的人可能同時跳起。鳥群轉向、球員跑位,也是一樣的道理。

這對追蹤是一條很有用的線索。一個舞者被擋住了,我們不知道她現在在哪裡,但看看其他舞者怎麼動,大致猜得出來。

可是大部分追蹤器都把每條軌跡分開處理。卡爾曼濾波一條軌跡一個;MOTR 這類用查詢追蹤的方法,每個查詢也只帶著自己上一幀的資訊往下傳。ETH 蘇黎世的 Mattia Segu、Luc Van Gool 等人想做一個能同時看「每條軌跡的長期歷史」和「軌跡彼此之間關係」的模型,取名 Samba,既是 Synchronized Mamba 的縮寫,也是那種講究整齊劃一的森巴舞。

定義問題

原論文 Figure 1:三種困難的場景。(a) DanceTrack 的群舞,(b) BFT 的鳥群,(c) SportsMOT 的排球比賽。畫面上的彩色曲線是追蹤到的軌跡,物體常以協調的方式一起移動,彼此遮擋。
原論文 Figure 1(Segu 等人),取自 PDF 第 2 頁,CC BY-SA 4.0。

作者把重點放在「用查詢追蹤」這條路線上,也就是 TrackFormer、MOTR 這一系列。這些方法每一幀用一組追蹤查詢,在畫面上重新找到上一幀追過的人,再把查詢傳到下一幀。

這條路線有三個問題:

  1. 只看上一幀。 查詢從這一幀傳到下一幀,更早的歷史沒有被好好利用。MeMOTR 加了一個長期記憶,但用的是指數移動平均,細節被平均掉了。
  2. 各追各的。 每個查詢獨立傳遞,舞者之間、鳥之間的協同關係完全沒有用上。
  3. 遮擋時只能凍結。 物體被擋住、偵測信心很低的時候,MeMOTR 和 MOTRv2 的做法是凍結查詢,停在最後一次看到的狀態,等它重新出現。被擋得越久,凍住的狀態離真實位置越遠。

解決問題

整體架構

原論文 Figure 2:SambaMOTR 的架構。下半部是偵測器:每一幀的影像經過編碼器,解碼器同時接收偵測查詢(找新出現的物體)和追蹤查詢(找已經在追的物體)。上半部是 Samba:每條軌跡一個 Samba 單元(紅圈),各自帶著過去的記憶,彼此之間用紅色虛線同步;它讀入這一幀的輸出查詢,更新記憶,產生下一幀的追蹤查詢。新出現的物體記憶從零開始(斜線方塊),被遮擋或偵測不確定的查詢則被遮罩(紅叉)。
原論文 Figure 2(Segu 等人),取自 PDF 第 3 頁,CC BY-SA 4.0。

SambaMOTR 的偵測器是標準的 Deformable-DETR,和 MOTR 一樣。改的是「怎麼把這一幀的查詢傳到下一幀」。

MOTR 用一個小模組,把這一幀的輸出直接轉成下一幀的查詢。SambaMOTR 換成 Samba:每條軌跡是一個序列,Samba 用一個狀態空間模型,把這條軌跡從出生到現在的所有輸出壓縮成一個隱藏狀態,再由隱藏狀態預測下一幀的查詢。

送進 Samba 之前,解碼器的輸出還會加上框座標的位置編碼,讓模型同時看到外觀和位置。Samba 輸出的不是完整的新查詢,而是一個殘差,加到原本的查詢上。

同步的狀態空間模型

原論文 Figure 3:同步的狀態空間模型。每條序列先各自做長期記憶更新(LTMU),用這一步的觀測更新自己的隱藏狀態;接著所有序列的隱藏狀態一起進入記憶同步模組(MS),經過多頭自注意力、MLP 和 LayerNorm,得到同步後的記憶;最後各自由輸出更新(OU)產生輸出。右邊是三個模組的細節。
原論文 Figure 3(Segu 等人),取自 PDF 第 6 頁,CC BY-SA 4.0。

Samba 的核心是「同步」。一般的 Mamba,每條序列的隱藏狀態只依自己的輸入更新。Samba 在每一步多加一個同步:

hti=Aˉi(t) h~t−1i+Bˉi(t) xtih~ti=Γi∈S(hti)yti=C(t) h~ti\begin{aligned} h_t^i &= \bar{A}^i(t)\,\tilde{h}_{t-1}^i + \bar{B}^i(t)\,x_t^i \\ \tilde{h}_t^i &= \Gamma_{i\in S}\left(h_t^i\right) \\ y_t^i &= C(t)\,\tilde{h}_t^i \end{aligned}

第一行是 Mamba 原本的更新,每條軌跡用自己這一幀的觀測更新記憶。第二行是同步:把所有軌跡更新後的記憶放在一起,做幾層自注意力,讓它們互相交換資訊。第三行由同步後的記憶產生輸出。

自注意力有兩個剛好需要的性質:軌跡有多少條都能處理,而且和軌跡的排列順序無關。代價是計算量和軌跡數量的平方成正比;不過對時間長度仍然是線性的,軌跡再長都可以一路追下去。

MaskObs:不可信的觀測就別收

物體被擋住時,解碼器還是會輸出一個查詢,但這個查詢多半不可靠,可能抓到了擋住它的那個人。如果照樣拿來更新記憶,錯誤就會一路累積。

MaskObs 讓偵測信心低於 0.5 的觀測不進入記憶更新。

hti=Aˉi(t) ht−1i+mti Bˉi(t) xtimti=1[conf(xti)>τmask]\begin{aligned} h_t^i &= \bar{A}^i(t)\,h_{t-1}^i + m_t^i\,\bar{B}^i(t)\,x_t^i \\ m_t^i &= \mathbb{1}\left[\text{conf}(x_t^i) > \tau_{\text{mask}}\right] \end{aligned}

和凍結不同的是,記憶和查詢仍然每一幀都往前更新。只是這時的更新完全依靠這條軌跡自己的歷史,以及同步時從其他看得見的軌跡得到的資訊。

我們把這個式子簡化成一維,並把 Aˉ\bar{A}、Bˉ\bar{B} 固定成 0.6 和 0.4,看看差別在哪裡。某位舞者 A 的記憶是 1.0。這一幀她被 B 擋住,解碼器的輸出其實比較像 B,數值是 −1.0-1.0,信心只有 0.3。下一幀 A 重新出現,觀測是 1.0,信心 0.9。

做法遮擋這一幀A 重新出現後
照收觀測0.6×1.0+0.4×(−1.0)=0.20.6 \times 1.0 + 0.4 \times (-1.0) = 0.20.6×0.2+0.4×1.0=0.520.6 \times 0.2 + 0.4 \times 1.0 = 0.52
MaskObs0.6×1.0=0.60.6 \times 1.0 = 0.60.6×0.6+0.4×1.0=0.760.6 \times 0.6 + 0.4 \times 1.0 = 0.76

本文整理的算例;實際模型中 Aˉ\bar{A}、Bˉ\bar{B} 會隨輸入改變,記憶是高維向量。

照收的話,B 的資訊混進了 A 的記憶,A 回來之後還要好幾幀才能恢復。遮罩之後,A 的記憶保住了大部分。

用長片段訓練

MOTR 系列訓練時,每次取 5 幀,5 幀都算梯度。只看 5 幀,長期記憶學不起來;直接把片段加長,記憶體用量又會跟著變大。

作者的做法是取 10 幀的片段,前 5 幀只做前向、不算梯度,只在後 5 幀反向傳播。這樣記憶體用量差不多,模型卻學到怎麼利用比較長的歷史。

討論

每個設計的貢獻

設定HOTAAssAIDF1
MOTR54.240.251.5
MeMOTR63.452.365.5
換成狀態空間模型63.553.867.0
+MaskObs64.854.368.1
+同步65.955.668.7
+長片段訓練67.257.570.5

整理自原論文 Table 4,DanceTrack 測試集。

光是把傳遞模組換成單純的 Mamba,就已經和 MeMOTR 打平,AssA 還多了 1.5。之後每加一個設計,HOTA 都多 1 分以上,合計比 MeMOTR 高 3.8。

附錄裡有幾個更細的消融:

  1. 同步放在哪裡。 在加入這一幀觀測之前同步,HOTA 66.1,和不同步的 66.0 差不多;在更新之後同步,是 67.2。作者的解釋是,更新之後再同步,被遮擋的軌跡才能用其他軌跡這一幀的資訊補上自己缺的那一塊。
  2. 最難的六段影片。 挑出沒有同步時表現最差的六段 DanceTrack 影片,加上同步後平均 HOTA 從 40.9 升到 44.5,AssA 從 25.1 升到 28.3。越亂的場景,同步越有用。
  3. 凍結還是 MaskObs。 換成 MeMOTR 那種遮擋時凍結的做法,HOTA 從 67.2 掉到 65.9。
  4. 預測殘差還是完整查詢。 直接預測下一幀的完整查詢,HOTA 只有 64.2;預測殘差是 67.2。

三個資料集

資料集表中最強的對手對手 HOTASambaMOTR HOTAAssA 差距
DanceTrackMeMOTR63.467.2+5.2
BFTOC-SORT66.869.6+4.9
SportsMOTTransTrack68.969.8+1.9

DanceTrack 整理自原論文 Table 1,BFT 整理自原論文 Table 2,SportsMOT 整理自原論文 Table 3;皆不使用額外訓練資料。

三個資料集都是第一,而且偵測器只是 ResNet-50 的 Deformable-DETR,不是先偵測再追蹤的方法常用的 YOLOX-X。DanceTrack 上,C-BIoU 用 YOLOX-X 的 DetA 是 81.3,比 SambaMOTR 的 78.8 高,但 AssA 只有 45.4,比 SambaMOTR 低了 12 分以上。

鳥群的 BFT 很能說明同步的價值。鳥長得幾乎一模一樣,外觀分不出誰是誰,但牠們成群轉向。SambaMOTR 的 AssA 是 73.6,比之前最好的查詢式追蹤器 TrackFormer 高了 12.5。

MOT17 和其他限制

附錄裡也報告了 MOT17。SambaMOTR 的 HOTA 是 58.8,和 MeMOTR 一樣,遠低於 ByteTrack 的 63.1。作者認為 MOT17 的行人大多直線前進,訓練影片又只有 7 段,端到端的方法在這裡沒有優勢。

作者自己列了兩個限制。第一,軌跡不活躍超過一定幀數就會被丟掉,足球員常常跑出畫面好幾秒,回來時已經是新的 ID,這需要另外接一個長期的重識別。第二,同步用的是自注意力,計算量隨軌跡數平方增長,人一多就會變慢。推論速度在單張 RTX 4090 上是 16 FPS。

結論

SambaMOTR 讓用查詢追蹤的方法多了兩樣東西。一是長期記憶:每條軌跡用一個狀態空間模型,把整段歷史壓縮成隱藏狀態,而且計算量對時間是線性的。二是同步:每一步讓所有軌跡的記憶互相交換資訊,一條軌跡被擋住時,可以參考其他軌跡的動向。

MaskObs 則把遮擋時的處理從「凍結」改成「不收可疑的觀測,但繼續推」。三者加上長片段訓練,在群舞、鳥群和球賽上都超過了先前的方法。

它的作者群和 MASA 有很大的重疊。MASA 完全不用影片學外觀的關聯;SambaMOTR 則在影片裡學時間和群體的關係,兩篇剛好從兩端處理關聯這件事。