返回論文筆記資料庫
arXiv 2023AAAI 2024多目標追蹤論文筆記

UCMCTrack

腳踏實地

原始論文

UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation

論文作者

Kefu Yi · Kai Luo · Xiaolei Luo …

查看全部 7 位作者

Kefu Yi · Kai Luo · Xiaolei Luo · Jiangui Huang · Hao Wu · Rongdong Hu · Wei Hao

發表版本
AAAI 2024會議
arXiv 首次提交
arXiv:2312.08952
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingucmctrack2023,
  title = {{UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation}},
  author = {Kefu Yi and Kai Luo and Xiaolei Luo and Jiangui Huang and Hao Wu and Rongdong Hu and Wei Hao},
  year = {2023},
  eprint = {2312.08952},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2312.08952}
}
本頁內容

只靠運動追蹤的方法,最怕鏡頭在動。

人明明站著不動,鏡頭一轉,他在畫面上的位置就跑了一大段。卡爾曼濾波預測的框和新偵測到的框對不上,IoU 掉到 0,追蹤就斷了。

常見的解法有兩種:加上外觀特徵,或是做相機運動補償(CMC),每一幀都估計鏡頭怎麼動,再把軌跡的位置修正回來。BoT-SORT、StrongSORT、Deep OC-SORT 都這樣做。兩種方法都有效,但都要額外的計算。逐幀的相機運動補償要在每一幀抽特徵點、算光流或做影像對位,影片解析度一高就很吃力。

長沙理工大學的 Kefu Yi、Kai Luo、Wei Hao 等人提出 UCMCTrack,換了一個角度。與其在畫面上追,不如把每個人投影回地面上去追;鏡頭的晃動,就當成運動模型裡的雜訊處理。整段影片只用一組固定的補償參數,不必逐幀計算。

定義問題

作者想回答的是,能不能只用運動線索,又不怕鏡頭移動,而且不必逐幀做相機運動補償?

他們認為問題出在 IoU 和影像平面。

IoU 是最常用的關聯距離,但只要兩個框沒有重疊,它就是 0。鏡頭抖動、取樣率低、目標移動快,都會讓預測框和偵測框完全分開。GIoU、DIoU、C-BIoU 這些改良,讓不重疊的框也能算出分數,但它們都還是在影像平面上計算。

影像平面上的位置,混進了鏡頭的運動和透視的變形。同樣是往前走一步,靠近鏡頭的人在畫面上移動得多,遠處的人移動得少。人實際上是在地面上走路,真正規律的運動,應該在地面上才看得到。

SparseTrack 用估計的偽深度、Quo Vadis 把位置投影到鳥瞰圖上算距離,都朝這個方向走了一步,但它們還是搭配 IoU 使用,也沒有處理投影帶來的不確定性。

解決問題

原論文 Figure 2:UCMCTrack 的流程。影像上的偵測框,經單應轉換投影到地面平面。地面上用等速運動模型的卡爾曼濾波預測軌跡,並加上過程雜訊補償;偵測框則經相關量測分布,轉成地面上帶有不確定性的量測。軌跡預測和映射後的量測之間計算映射馬氏距離,最後用匈牙利演算法配對,輸出軌跡。
原論文 Figure 2(Yi 等人),取自 PDF 第 3 頁,CC BY 4.0。

UCMCTrack 仍是先偵測、再關聯,只用運動線索。它改的是在哪裡建運動模型、用什麼距離配對,以及怎麼處理鏡頭的晃動。

在地面上建運動模型

一個人的偵測框,取它底邊的中點,大致就是腳踩在地上的位置。用相機的內參和外參,把這個點從影像座標 (u,v)(u, v) 投影到地面座標 (x,y)(x, y):

[uv1]=A 1γ[xy1]\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = A\,\frac{1}{\gamma}\begin{bmatrix} x \\ y \\ 1 \end{bmatrix}

AA 是相機內參和外參組成的投影矩陣,γ\gamma 是尺度因子。

卡爾曼濾波就在地面上運作,狀態只有地面位置和速度 x=[x,x˙,y,y˙]⊤\mathbf{x} = [x, \dot{x}, y, \dot{y}]^\top,用最簡單的等速模型。和 SORT 系列追蹤框的中心、面積、長寬比不同,這裡完全不管框的大小。

投影之後,誤差也要跟著投影

偵測器的誤差是在影像上產生的。作者假設影像上的誤差在兩個方向獨立,大小和框的寬高成比例:

Rkuv=[(σmwk)200(σmhk)2]R^{uv}_k = \begin{bmatrix} (\sigma_m w_k)^2 & 0 \\ 0 & (\sigma_m h_k)^2 \end{bmatrix}

σm\sigma_m 是偵測雜訊係數,wkw_k、hkh_k 是偵測框的寬高。

這個誤差投影到地面上,就不再是兩個方向獨立的了。用投影的一階近似,地面上的誤差共變異數是

Rk=C Rkuv C⊤R_k = C\,R^{uv}_k\,C^\top

CC 由投影矩陣 AA 的反矩陣元素和地面位置組成。RkR_k 不是對角矩陣,代表地面上的誤差在 xx、yy 兩個方向強烈相關,作者稱為相關量測分布(Correlated Measurement Distribution,CMD)。

這在直覺上很合理。從斜上方往下拍,一個人在畫面上上下偏了幾個像素,投影到地面上,可能就是沿著視線方向前後差了一大段。所以地面上的不確定性,是一個沿著視線方向拉長、而且傾斜的橢圓,而不是一個正圓。

用馬氏距離取代 IoU

有了地面上的預測和帶有不確定性的量測,配對的距離就用馬氏距離。作者稱為映射馬氏距離(Mapped Mahalanobis Distance,MMD),分三步:

  1. 殘差:ϵ=z−Hx^\epsilon = z - H\hat{\mathbf{x}},zz 是投影到地面的量測,x^\hat{\mathbf{x}} 是卡爾曼濾波預測的狀態。
  2. 殘差的共變異數:S=HPH⊤+RkS = H P H^\top + R_k,PP 是預測的共變異數。
  3. 正規化的馬氏距離:
D=ϵ⊤S−1ϵ+ln⁡∣S∣D = \epsilon^\top S^{-1} \epsilon + \ln |S|

第一項是一般的馬氏距離,殘差在不確定性大的方向上不太扣分,在不確定性小的方向上扣很多。第二項 ln⁡∣S∣\ln|S| 則把不確定性本身也算進去。不確定性越大,距離的基礎值越高,一個很模糊的量測,就不會因為「什麼都有可能」而輕易配上。

原論文 Figure 3:三種距離的示意。(a) 影像平面上,預測框(橘色虛線)和偵測框(藍色實線)沒有重疊,IoU 為 0。(b) 地面上的映射馬氏距離,但不使用相關量測分布:每個位置的不確定性是沿座標軸方向的直立橢圓,橘色與藍色的位置配錯了。(c) 使用相關量測分布:橢圓在地面上旋轉、拉長,兩組分布重疊的相關區間(青色)讓配對變得正確。
原論文 Figure 3(Yi 等人),取自 PDF 第 4 頁,CC BY 4.0。

這張圖把三種情況並排。(a) 影像上的兩組框沒有重疊,IoU 完全幫不上忙。(b) 改到地面上算距離,但如果把誤差當成兩個方向獨立,橢圓都是直立的,距離最近的反而是錯的那一個。(c) 用了相關量測分布,橢圓沿著真正的不確定方向傾斜,正確的配對才浮現出來。

把鏡頭晃動當成雜訊

最後是鏡頭的運動。作者不去估計每一幀鏡頭怎麼動,而是把它看成一個造成加速度的雜訊來源。在時間間隔 Δt\Delta t 內,一個未知的加速度 σ\sigma 會讓位置和速度分別改變

Δx=12 σ (Δt)2,Δv=σ Δt\Delta x = \tfrac{1}{2}\,\sigma\,(\Delta t)^2, \qquad \Delta v = \sigma\,\Delta t

把它寫成矩陣 GG,卡爾曼濾波的過程雜訊共變異數就是

Qk=G⋅diag(σx,σy)⋅G⊤Q_k = G \cdot \mathrm{diag}(\sigma_x, \sigma_y) \cdot G^\top

σx\sigma_x、σy\sigma_y 稱為過程補償因子,分別吸收鏡頭傾斜和旋轉造成的運動雜訊。過程雜訊放大,卡爾曼濾波就會更相信新的量測、容許預測偏得更多,鏡頭一晃造成的位移,就不會讓追蹤斷掉。

這兩個因子在同一段影片裡固定不變,這就是標題裡「均勻的相機運動補償」(Uniform Camera Motion Compensation)的意思。和逐幀的相機運動補償相比,它不需要任何影像處理。作者表示,給定偵測結果後,UCMCTrack 在單顆 CPU 上每秒可以處理超過 1,000 幀。

其餘的流程和 SORT 一樣:用匈牙利演算法配對;沒配上的軌跡累計遺失時間,超過門檻就刪除;沒配上、信心又夠高的偵測,建立新軌跡。整個方法沒有用到 IoU,也沒有外觀特徵。

相機參數從哪裡來

把點投影到地面,需要相機的內參和外參。KITTI 有提供,但 MOT17、MOT20 和 DanceTrack 都沒有,作者是手動估計的。

官方程式附了一個估計工具,使用者手動調整三個旋轉角、焦距和平移量,讓畫面上的虛擬地面格線和影像裡的地面對齊。README 也說明,這樣估出來的參數未必非常精確,但對 UCMCTrack 來說已經夠用。

討論

偵測都沿用 ByteTrack 公開的 YOLOX 權重,KITTI 則用 PermaTrack 的偵測結果。UCMCTrack+ 是額外加上 ECC 影像對位的版本,和 StrongSORT 的作法一致。

主要結果

方法MOT17 HOTAMOT17 IDF1DanceTrack HOTADanceTrack AssA
ByteTrack63.177.347.331.4
OC-SORT63.277.555.140.4
C-BIoU64.179.760.645.4
SparseTrack65.180.155.539.1
BoT-SORT*65.080.2——
Deep OC-SORT*64.980.661.345.8
UCMCTrack64.379.063.451.1
UCMCTrack+65.881.163.651.3

整理自原論文 Table 1、Table 2,測試集;標*的方法另外使用外觀特徵。

  1. MOT17: 不加影像對位的 UCMCTrack 是 64.3,和其他純運動方法差不多;加上之後的 UCMCTrack+ 是 65.8,比用了外觀特徵的 BoT-SORT、Deep OC-SORT 還高。
  2. DanceTrack: 差距更大。UCMCTrack 的 HOTA 63.4,比 C-BIoU 高 2.8,關聯的 AssA 從 45.4 到 51.1。只靠位置的運動模型,在舞者身上贏過了加了外觀的 Deep OC-SORT。
  3. MOT20: UCMCTrack 是 62.8,和 MotionTrack 打平,略低於 SparseTrack 的 63.4,也低於有外觀的 Deep OC-SORT(63.9)。這裡加不加影像對位都一樣,多半是因為 MOT20 的鏡頭本來就是固定的。
  4. KITTI: 這是一個 10 FPS、鏡頭跟著車子移動的駕駛資料集。UCMCTrack 的汽車 HOTA 是 77.1,比 OC-SORT 的 76.5 高;但加上影像對位的 UCMCTrack+ 反而掉到 74.2。作者推測是影像對位的參數估得不準。

每個零件的貢獻

消融以 ByteTrack 為基準,在 MOT17 和 DanceTrack 的驗證集上逐步替換:

設定MOT17 HOTAMOT17 IDF1DanceTrack HOTADanceTrack IDF1
ByteTrack(IoU)68.477.147.947.3
換成 MMD68.175.946.343.8
+相關量測分布70.479.755.153.9
+過程雜訊補償72.082.260.462.6

整理自原論文 Table 4,驗證集。

  1. 只把 IoU 換成馬氏距離,反而變差。 作者的解釋是,IoU 同時考慮了位置和框的高度,MMD 只看地面上的一個點。他們也提到,未來可以把高度資訊加進 MMD。
  2. 加上相關量測分布,就超過了 IoU。 DanceTrack 上從 46.3 跳到 55.1,多了將近 9 分。誤差的形狀投影對了,地面上的距離才有意義。
  3. 過程雜訊補償再加一大截。 MOT17 多 1.6 分,DanceTrack 多 5.3 分,IDF1 更多了 8.7 分。

關於第 3 點,作者自己也說,DanceTrack 大部分的影片並沒有明顯的視角移動,鏡頭幾乎是固定的。那過程雜訊補償在這裡補償的是什麼?以下是本文的推測:放大過程雜訊,讓卡爾曼濾波更願意相信新的量測、容許更大的預測誤差,它吸收的多半是舞者本身突然變向、變速造成的偏差,而不是鏡頭的晃動。從這個角度看,它和 OC-SORT 修正卡爾曼濾波、C-BIoU 把框撐大,處理的其實是同一個問題。

逐幀補償,還要不要做

設定MOT17 HOTADanceTrack HOTA
ByteTrack68.447.9
ByteTrack+逐幀補償71.047.6
UCMCTrack72.060.4
UCMCTrack+逐幀補償73.059.2

整理自原論文 Table 5,驗證集。

在 MOT17 上,UCMCTrack 單獨就比「ByteTrack 加逐幀補償」好,兩者再疊加還能多 1 分。但在 DanceTrack 上,加逐幀補償反而讓兩個方法都變差。作者的解釋是,DanceTrack 的鏡頭幾乎不動,做了影像對位反而讓重疊在一起的人產生微小的位移,配錯軌跡。

補償因子要依場景調

原論文 Figure 4(a):MOT17 驗證集分成靜態鏡頭和動態鏡頭兩組,橫軸是補償因子的自然對數 ln(σ),縱軸是 HOTA 相對於基準的變化。靜態場景(實線)在 ln(σ) 約 −0.5 時最高,約 +4.3,之後一路下降,約 4 以後變成負值;動態場景(虛線)從約 −5 開始上升,在 ln(σ) 約 4 時最高,約 +4.4,之後略降。
原論文 Figure 4(a)(Yi 等人),取自 PDF 第 7 頁,CC BY 4.0。

作者把 MOT17 驗證集分成鏡頭固定和鏡頭移動兩組,掃過不同的補償因子。兩組的曲線幾乎是反過來的。鏡頭固定的影片,補償因子小一點最好,太大反而比基準差;鏡頭移動的影片,補償因子要大到 e4e^4 附近,太小則會比基準差 5 分。

所以「均勻」指的是同一段影片裡固定不變,不同影片之間還是得各自設定。至於偵測雜訊係數 σm\sigma_m,在 0.05 時最好,在 0.04 到 0.1 之間影響都不大。

相機參數估錯了怎麼辦

相機參數是手動估的,難免有誤差。作者分別在外參的三個旋轉軸上加入誤差:繞垂直軸的偏航誤差影響很小,因為它不太會讓估出來的地面變形;另外兩個軸的誤差一大,地面就會明顯扭曲,表現也跟著下降。這時就得重新調整參數,讓估出來的地面和實際的地面對齊。

這也是使用這個方法時最實際的門檻。官方程式的 issue 裡,有好幾則都在詢問相機參數該怎麼估、能不能全自動估計。

結論

UCMCTrack 把多目標追蹤從影像平面搬回地面。偵測框的底邊中點投影到地面、誤差也一起投影成傾斜的橢圓,再用馬氏距離取代 IoU;鏡頭的晃動則當成卡爾曼濾波的過程雜訊,整段影片一組參數。它不用外觀、不做逐幀的影像對位,在 MOT17 和 DanceTrack 上都追上甚至超過了用外觀特徵的方法。

代價是需要相機參數,而大部分公開資料集並沒有提供,得手動估計;作者也承認,這個方法假設所有人都站在同一個平面上,遇到樓梯、看台、斜坡這類場景就不成立。

追蹤器在畫面上看到的,是投影過的世界。把它還原回地面,很多看似不規則的運動,其實只是透視和鏡頭晃動造成的錯覺。