返回論文筆記資料庫
arXiv 2024ICASSP 2025多目標追蹤論文筆記

MambaMOT

曼巴精神

原始論文

MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking

論文作者

Hsiang-Wei Huang · Cheng-Yen Yang · Wenhao Chai · Zhongyu Jiang · Jenq-Neng Hwang

發表版本
ICASSP 2025會議
arXiv 首次提交
arXiv:2403.10826
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingmambamot2024,
  title = {{MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking}},
  author = {Hsiang-Wei Huang and Cheng-Yen Yang and Wenhao Chai and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2403.10826},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.10826}
}
本頁內容

2023 年底,Mamba 以「選擇性狀態空間模型」的身分登場,在長序列上和 Transformer 分庭抗禮,計算量卻只隨序列長度線性增長。接下來的幾個月,各個領域都有人試著把它搬進來。

多目標追蹤裡,最適合放序列模型的位置,是運動預測。給定一條軌跡過去幾幀的框,預測下一幀的框,這本來就是一個序列問題,從 SORT 以來一直由卡爾曼濾波負責。

華盛頓大學的 Hsiang-Wei Huang、Jenq-Neng Hwang 等人做的,就是把卡爾曼濾波換成 Mamba。論文只有四頁,想法也很直接,但它剛好可以拿來和早不到兩週出現的 DiffMOT 對照:同一個問題,一個用擴散模型,一個用狀態空間模型。

定義問題

卡爾曼濾波假設物體在短時間內等速直線前進。行人大致符合這個假設,舞者和球員就不行了。

OC-SORT 曾經分析過卡爾曼濾波在這類場景的兩個弱點。一是對狀態雜訊敏感:速度的估計只要有一點偏差,物體幾幀沒被偵測到,預測位置就會偏得很遠。二是誤差會隨時間放大:沒有新觀測的時候,卡爾曼濾波只能沿著舊的速度一直推下去。

原論文 Fig. 1:左邊是 DanceTrack 上的兩幀,上排是 MambaMOT 的預測框,下排是 ByteTrack(卡爾曼濾波)的預測框,紅框是真值;卡爾曼濾波的綠框和真值錯開了。右邊是同一個目標每一幀的預測框和真值的 IoU,藍線是 Mamba,平均 0.95;綠線是卡爾曼濾波,平均 0.86,而且常常突然掉到 0.75 以下。
原論文 Fig. 1(Huang 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

右邊的曲線很能說明問題。卡爾曼濾波大部分時候也預測得不錯,但每當舞者突然改變動作,綠線就往下掉,有好幾次掉到 0.75 以下。對 IoU 關聯來說,這種突然的失準就是軌跡斷掉的時候。

作者的想法是,與其假設運動是線性的,不如讓模型從資料學:舞者通常怎麼動、球員通常怎麼動。

解決問題

用 Mamba 預測下一個框

原論文 Fig. 2:左邊是 MambaMOT+ 的架構。同一條軌跡每一幀的框,經過線性投影後送進兩層 Mamba 區塊,隱藏狀態一幀一幀往後傳。最後一幀的輸出接兩個頭:預測頭輸出下一幀的框,嵌入頭輸出這條軌跡的特徵向量。右邊是 Mamba 區塊的內部:MLP 擴展維度後分兩路,一路經過一維卷積和選擇性 SSM,另一路當作閘門,兩者相乘後再投影回原維度。
原論文 Fig. 2(Huang 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

MambaMOT 的運動模型很小。輸入是一條軌跡過去 nn 幀的框,每個框四個數字;先用一層線性投影升到 64 維,經過兩個 Mamba 區塊,最後一個 MLP 輸出下一幀的框。訓練的損失是預測框和真值框之間的 GIoU 加上均方誤差。

關聯完全沿用 ByteTrack:高分框先和預測框用 IoU 配對,剩下的軌跡再和低分框配一次。所以 MambaMOT 和 ByteTrack 的差別,只有運動模型這一個元件。

選擇性是什麼意思

Mamba 的核心是一個遞迴:

ht=Aˉt ht−1+Bˉt xt,yt=C hth_t = \bar{A}_t\, h_{t-1} + \bar{B}_t\, x_t,\qquad y_t = C\, h_t

隱藏狀態 hth_t 是過去所有輸入的摘要,每來一個新輸入,就決定舊的摘要留多少、新的輸入收多少。

傳統的狀態空間模型裡,Aˉ\bar{A}、Bˉ\bar{B} 是固定的,每一步留多少、收多少都一樣。Mamba 讓它們隨著輸入改變,所以叫「選擇性」。論文裡把這兩個量寫成 Aˉt=1−σ(Linear(xt))\bar{A}_t = 1 - \sigma(\text{Linear}(x_t)) 和 Bˉt=σ(Linear(xt))\bar{B}_t = \sigma(\text{Linear}(x_t)),兩者加起來剛好是 1。

把這個式子簡化成一維,就看得出它在運動預測上的意義。令 st=σ(Linear(xt))s_t = \sigma(\text{Linear}(x_t)),遞迴就變成:

ht=(1−st) ht−1+st xth_t = (1 - s_t)\, h_{t-1} + s_t\, x_t

這是一個指數移動平均,只是平滑係數 sts_t 由輸入決定。

一個轉身的例子

我們把輸入簡化成舞者每一幀的水平速度。前幾幀她一直往右,每幀 10 像素,記憶裡的 h=10h = 10。這一幀她突然轉身,速度變成 −10-10。

做法平滑係數更新後的記憶預測的方向
固定係數0.20.8×10+0.2×(−10)=60.8 \times 10 + 0.2 \times (-10) = 6仍然往右
選擇性0.80.2×10+0.8×(−10)=−60.2 \times 10 + 0.8 \times (-10) = -6改往左

本文整理的算例;實際模型的隱藏狀態是高維向量,輸出還要經過 MLP。

固定係數的模型,對每個輸入一視同仁,舊的趨勢要好幾幀才會被新資訊蓋過去。選擇性的模型可以學到:看到這種輸入時,舊的趨勢不可信,要大幅採納新的觀測。

卡爾曼濾波其實也會依觀測調整,但它的調整幅度由事先設定的雜訊參數決定,而且背後永遠是等速模型。Mamba 的調整方式則是從資料學來的。

MambaMOT+:順便學一個軌跡特徵

Mamba 的隱藏狀態既然記住了整條軌跡的運動模式,作者想進一步利用它。MambaMOT+ 在 Mamba 區塊的輸出上多接一個嵌入頭,輸出這條軌跡的特徵向量。

訓練這個特徵用的是餘弦嵌入損失:同一條軌跡切出來的兩段,特徵要相似;不同軌跡的兩段,相似度要壓到 0 以下。

追蹤結束後,把所有 tracklet 的特徵兩兩比較,用階層式分群把運動模式相似的接起來。為了避免接上不合理的組合,時間差超過 50 幀、空間距離超過 50 像素的不接。

作者強調,傳統的 tracklet 合併要另外訓練一個孿生網路,每一對 tracklet 都要跑一次,計算量是 O(N2)O(N^2);MambaMOT+ 每條 tracklet 只要跑一次前向,是 O(N)O(N)。不過分群時兩兩比較餘弦相似度,這一步仍然是 O(N2)O(N^2),只是向量內積比跑網路便宜得多。

另外要注意,這個合併是在整段影片追完之後才做的,所以 MambaMOT+ 不再是線上方法。

訓練資料

運動模型的訓練資料,取自 MOT17、DanceTrack、SportsMOT 的訓練集軌跡。每次隨機切一段長度在 2 到 nn 之間的片段,不足 nn 的補齊,目標是下一幀的真值框。單張 RTX 4080 訓練 500 個 epoch。

討論

DanceTrack 和 SportsMOT

方法HOTAAssAIDF1
ByteTrack47.331.452.5
OC-SORT54.640.254.6
MambaMOT55.538.353.9
MambaMOT+56.139.054.9

整理自原論文 Table I,DanceTrack 測試集。

和使用同一組偵測的 ByteTrack 相比,MambaMOT 的 HOTA 高了 8.2,這是論文的主要賣點。

不過拆開來看,這 8.2 裡有不少來自偵測那一側:ByteTrack 的 DetA 是 71.6,MambaMOT 是 80.8,AssA 則是 31.4 對 38.3。運動模型主要影響的是關聯,同一組偵測、DetA 卻差了 9 分以上,代表表中兩者的設定可能不只運動模型不同。OC-SORT 的 DetA 是 80.4,和 MambaMOT 接近,拿它當對照比較公平。

和 OC-SORT 比,故事就不太一樣。OC-SORT 是在卡爾曼濾波上動手腳的方法,MambaMOT 的 HOTA 只比它高 0.9,AssA 和 IDF1 反而比它低。加上軌跡合併的 MambaMOT+,IDF1 才以 0.3 小勝。

SportsMOT 上的情況類似。用同一個 YOLOX 偵測器,MambaMOT 的 HOTA 是 70.4,OC-SORT 是 70.2;MambaMOT+ 到 71.3。MambaMOT 和 ByteTrack 的 62.0 比,差距是 8.4。

少了什麼

這篇論文的篇幅很短,有幾件事沒有交代:

  1. 沒有消融。 輸入幾幀、用幾個 Mamba 區塊、拿掉 GIoU 損失會怎樣,都沒有實驗。換成 LSTM 或 Transformer 會不會一樣好,也沒有比較。
  2. 沒有行人資料集的結果。 訓練資料裡有 MOT17 的軌跡,測試卻只報告了 DanceTrack 和 SportsMOT。
  3. 沒有跨資料集的實驗。 運動模型在三個資料集的訓練軌跡上一起訓練,再在其中兩個的測試集上評估。換到沒看過的運動類型時表現如何,論文沒有測。
  4. 比較對象不完整。 表中最強的對手是 OC-SORT。同期的 DiffMOT 在 DanceTrack 上的 HOTA 是 62.3,Deep OC-SORT 是 61.3,都沒有列入。這些方法還用了外觀特徵,不能直接比,但讀者很難從這篇論文判斷 Mamba 本身的位置。

DiffMOT 的消融倒是提供了一個側面的參考。在 DiffMOT 的框架裡,同樣是學習式的運動模型,LSTM 的 HOTA 是 51.2,Transformer 是 54.6,擴散模型是 55.7,卡爾曼濾波是 46.8。學習式的運動模型確實比卡爾曼濾波好,至於用哪一種序列模型,差距就小得多。

速度

MambaMOT 在單張 GPU 上跑 28.8 FPS。作者拿它和 MOTR 這類端到端方法比,後者通常不到 10 FPS。運動模型只有兩個 64 維的 Mamba 區塊,本身非常輕。

結論

MambaMOT 把卡爾曼濾波換成一個小型的 Mamba,看追蹤會不會變好。在舞者和球員身上,答案是會,和 ByteTrack 相比,HOTA 一口氣多了 8 分以上。

選擇性狀態空間模型的好處,在於它能依輸入決定要相信舊的趨勢還是新的觀測,而這正是不規則運動最需要的。不過它和 OC-SORT 這類改良過的卡爾曼濾波方法相比,優勢就只剩一點點;至於它是不是比其他序列模型更適合這個任務,這篇論文沒有給出答案。