返回論文筆記資料庫
arXiv 2024CVPR 2024多目標追蹤論文筆記

DiffMOT

一步到位

原始論文

DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction

論文作者

Weiyi Lv · Yuhang Huang · Ning Zhang · Ruei-Sung Lin · Mei Han · Dan Zeng

發表版本
CVPR 2024會議
arXiv 首次提交
arXiv:2403.02075
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingdiffmot2024,
  title = {{DiffMOT: A Real-time Diffusion-based Multiple Object Tracker with Non-linear Prediction}},
  author = {Weiyi Lv and Yuhang Huang and Ning Zhang and Ruei-Sung Lin and Mei Han and Dan Zeng},
  year = {2024},
  eprint = {2403.02075},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.02075}
}
本頁內容

SORT 之後這些年,大部分追蹤器用的運動模型都是卡爾曼濾波。它假設物體在短時間內等速直線前進,計算快、參數少,在 MOT17 這種行人為主的資料上非常好用。

可是到了 DanceTrack 的舞台、SportsMOT 的球場,人不再好好走路。舞者會突然轉身、蹲下、跳起來;球員會急停、變向、加速衝刺。等速直線的假設一失效,預測框就對不準偵測框,軌跡斷掉,新的 ID 冒出來。

上海大學的 Weiyi Lv、Yuhang Huang、Dan Zeng 等人想用擴散模型來預測這些不規則的運動。擴散模型擅長擬合複雜的分布,問題是它通常要跑上千步才能生成結果,追蹤卻需要即時。

定義問題

原論文 Figure 1:(a) DanceTrack 上幾位舞者 200 幀的中心軌跡,畫在三維座標中,軌跡彎彎曲曲。右邊是第 30、31 幀:上排用卡爾曼濾波,預測框和偵測框的 IoU 從 0.71 掉到 0.41,追蹤失敗;下排用 D²MP,IoU 是 0.83 和 0.88。(b) DanceTrack 測試集上各追蹤器的 HOTA 與 FPS,DiffMOT-X 的 HOTA 最高,速度約 23 FPS。(c) 卡爾曼濾波在四個資料集上的預測框與真值框平均 IoU:MOT17 和 MOT20 在 0.9 以上,DanceTrack 約 0.82,SportsMOT 約 0.78。
原論文 Figure 1(Lv 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

右邊的 (c) 是這篇論文的出發點。作者用卡爾曼濾波預測下一幀的框,再和真值框算 IoU。MOT17、MOT20 的平均 IoU 都在 0.9 以上;DanceTrack 只有約 0.82,SportsMOT 約 0.78。

對追蹤來說,預測框對不準,關聯就要靠其他線索硬撐。換成神經網路來預測,MLP、LSTM 這類簡單的網路擬合不了這麼複雜的運動;用光流或 Transformer 的方法擬合得比較好,卻慢到不能即時。

DiffMOT 要讓非線性運動預測得準,速度又要夠快。

解決問題

整體架構

DiffMOT 是一個標準的「先偵測、再關聯」追蹤器,分成三步:

  1. 偵測。 用 YOLOX 找出這一幀的所有框。
  2. 運動預測。 對每條已有的軌跡,用它過去 5 幀的資訊,預測這一幀的位置。這一步就是 DiffMOT 的核心,叫做 D²MP(decoupled diffusion-based motion predictor)。
  3. 關聯。 沿用 ByteTrack 的兩階段匹配:高分偵測框先用外觀和 IoU 和預測框配對,剩下的再和低分框用 IoU 配一次。外觀的部分則借用 Deep OC-SORT 的動態外觀和自適應權重。

除了第二步,其他都是現成的元件。所以這篇論文的實驗,可以看成是在同一個框架裡,把卡爾曼濾波換成擴散模型。

要生成的是「位移」

D²MP 生成的不是框,而是框的變化量。第 ff 幀的運動定義為:

Mf=Bf−Bf−1=(Δxf,Δyf,Δwf,Δhf)\begin{aligned} M_f &= B_f - B_{f-1} \\ &= (\Delta x_f, \Delta y_f, \Delta w_f, \Delta h_f) \end{aligned}

預測出運動之後,加到上一幀的框上,就是這一幀的預測框。

模型學的是整個資料集裡所有物體的運動分布,預測時再以某一個物體自己的歷史當作條件。作者認為,這比為每條軌跡單獨擬合一個運動模型更穩:舞者的動作千變萬化,但「舞者會怎麼動」本身是有規律的。

解耦的擴散過程

一般的擴散模型,前向過程是一步一步把資料變成雜訊。D²MP 沿用一種「解耦擴散」的做法,把這個過程拆成同時進行的兩半:

  1. 資料歸零。 乾淨的運動資料隨時間 tt 線性衰減,到 t=1t=1 時變成零。
  2. 雜訊增長。 從零開始加入高斯雜訊,到 t=1t=1 時變成純雜訊。

兩者相加,就是加了雜訊的運動:

Mf,t=Mf,0+t c+t z,c=−Mf,0M_{f,t} = M_{f,0} + t\,c + \sqrt{t}\,z,\qquad c = -M_{f,0}

cc 是衰減的速度,zz 是標準常態雜訊。t=0t=0 時是乾淨的運動,t=1t=1 時只剩 zz。

反向過程要從雜訊還原運動。原本的解耦擴散需要一個雙分支的網路,同時預測 cc 和 zz。作者發現,從上面的式子可以把 zz 用 cc 和 Mf,tM_{f,t} 表示出來,所以網路只需要預測 cc 一個量。

更重要的是,這個過程可以一步完成。

一步是怎麼走的

用一個例子把前向和反向都走一遍。

假設某個舞者上一幀的框是 (300,200,80,220)(300, 200, 80, 220),依序是中心 xx、中心 yy、寬、高,單位是像素。這一幀他往右移了 12、往上移了 3,大小不變,所以真實的運動是 Mf,0=(12,−3,0,0)M_{f,0} = (12, -3, 0, 0)。

前向過程裡,c=−Mf,0c = -M_{f,0}。在 t=0.25t = 0.25 時:

Mf,0.25=0.75 Mf,0+0.5 z=(9,−2.25,0,0)+0.5 z\begin{aligned} M_{f,0.25} &= 0.75\,M_{f,0} + 0.5\,z \\ &= (9, -2.25, 0, 0) + 0.5\,z \end{aligned}

運動被衰減了四分之一,同時混入一半標準差的雜訊。到 t=1t=1,只剩下 zz。

反向時,從 t=1t=1 一步跳到 t=0t=0。代入反向過程的公式,均值剛好等於 −cΘ-c_\Theta,變異數是 0。如果網路從歷史推出 cΘ=(−12,3,0,0)c_\Theta = (-12, 3, 0, 0),預測的運動就是 (12,−3,0,0)(12, -3, 0, 0),預測框是 (312,197,80,220)(312, 197, 80, 220)。

本文整理的算例。

一般的擴散模型要跑幾百到上千步;解耦擴散的衰減是解析的,可以一步走完,運動預測的時間就短到可以忽略。

條件從哪裡來

網路要預測 cΘc_\Theta,靠的是一個叫 HMINet 的網路。它讀入這條軌跡過去 5 幀的資訊,每一幀八個數字:框的四個值,加上那一幀的位移。

這 5 幀先和一個可學的 class token 一起,經過 6 層多頭自注意力,class token 最後就是條件嵌入。接著,雜訊運動和條件嵌入一起進入「運動融合層」:條件嵌入經過 MLP 產生縮放和平移,調整雜訊運動的特徵。再疊幾層自注意力和融合層,最後一個 MLP 輸出 cΘc_\Theta。

原論文 Figure 3:D²MP 的架構。左邊從相鄰兩幀的真值框相減得到運動 M_f,0。上方的前向過程裡,「資料歸零」和「雜訊增長」兩部分相加,得到加了雜訊的運動。下方的反向過程是 HMINet:條件 C_f(過去幾幀的運動資訊)經過 6 層多頭自注意力得到條件嵌入 E_ce,再和雜訊運動一起經過運動融合層與自注意力,輸出預測的運動,加回上一幀的框,就是這一幀的預測框。右邊是多頭自注意力和運動融合層的細節。
原論文 Figure 3(Lv 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

訓練時,損失是預測的 cΘc_\Theta 和真實 cc 之間的 smooth L1。

討論

換掉運動模型

消融都在 DanceTrack 驗證集上,偵測器和關聯方式不變,只換運動模型:

運動模型HOTAIDF1AssA
只用 IoU44.736.825.3
卡爾曼濾波46.852.131.3
LSTM51.251.634.3
Transformer54.654.638.1
D²MP55.755.239.5

整理自原論文 Table 5,DanceTrack 驗證集。

卡爾曼濾波比完全不預測只好 2.1 HOTA;換成 D²MP,又比卡爾曼濾波高了 8.9。Transformer 也不差,HOTA 54.6,但論文沒有列出它在同一框架下的速度。

一步夠不夠

架構取樣步數HOTAFPS
雙分支144.520.9
雙分支1052.313.1
雙分支2054.67.5
單分支155.722.7

整理自原論文 Table 6,DanceTrack 驗證集,速度含 YOLOX-X 偵測。

這張表說明了單分支的好處。同時預測 cc 和 zz 的雙分支版本,一步取樣只有 44.5,要跑 20 步才追到 54.6,速度掉到 7.5 FPS。只預測 cc 的單分支版本,一步就有 55.7。少學一個量,網路反而學得更好。

歷史要多長

條件用的歷史長度 nn,從 1 幀到 10 幀,HOTA 依序是 51.7、52.5、53.0、55.7(5 幀)、52.5、51.1。太短,看不出物體的動向;太長,舊的資訊反而干擾預測。5 幀最好。

條件的內容也試過三種:只用上一幀的框、只用上一幀的位移,或兩者都用。兩者都用的 HOTA 最高,不過三者最多只差 1.3。

測試集上的成績

資料集DiffMOT表中其他方法最高該方法
DanceTrack62.361.3Deep OC-SORT
SportsMOT76.274.1MixSort-OC
MOT1764.565.1SparseTrack
MOT2061.763.9Deep OC-SORT

測試集 HOTA。DanceTrack 整理自原論文 Table 1;SportsMOT 整理自原論文 Table 2,偵測器用訓練集加驗證集訓練;MOT17 整理自原論文 Table 3;MOT20 整理自原論文附錄 Table 9。

在非線性運動為主的 DanceTrack 和 SportsMOT,DiffMOT 都是第一。DanceTrack 上 IDF1 63.0、AssA 47.2,也比 Deep OC-SORT 高了 1.5 和 1.4,進步主要在關聯。

到了行人為主的 MOT17、MOT20,DiffMOT 就不是最好的了,比 Deep OC-SORT、SparseTrack 低一些。行人的運動本來就接近直線,卡爾曼濾波已經夠用,擴散模型沒有太多可以發揮的地方。

速度方面,用 YOLOX-X 時是 22.7 FPS,換成 YOLOX-S 可以到 30.3 FPS,HOTA 則掉到 53.3。

跨資料集

附錄裡,作者把在 DanceTrack 上訓練的 D²MP 直接拿到其他資料集。SportsMOT 上 HOTA 75.6,只比在 SportsMOT 上訓練的版本低 0.6,仍然高於 MixSort-OC 的 74.1。MOT17 上則低了 2.7。

從結果看,舞者和球員的運動,彼此比和行人更接近。

失敗的時候

附錄列了兩種失敗。第一種是兩個人交錯走過時互換 ID,作者認為是因為模型沒有約束速度的方向。第二種是長時間消失的人找不回來:D²MP 一次只預測下一幀,一條斷掉很久的軌跡,沒有辦法往前推好幾幀去等它。

結論

DiffMOT 只動了一個零件,把「先偵測、再關聯」框架裡的卡爾曼濾波,換成一個擴散模型。

讓它能用在即時追蹤上的關鍵,是解耦擴散。資料衰減是解析的,反向過程可以一步走完;網路只需要預測衰減的速度 cc,比同時預測 cc 和雜訊更好學。結果是一個能擬合舞者、球員不規則運動的預測器,加上偵測還能跑到 20 幾 FPS。

和半年前的 DiffusionTrack 比,兩篇都用擴散模型,DiffusionTrack 拿它生成兩幀的配對框,DiffMOT 只拿它生成位移。在 DanceTrack 上,後者的 HOTA 高了將近 10。