UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation
- 發表版本
- AAAI 2024會議
- arXiv 首次提交
- arXiv:2312.08952
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingucmctrack2023,
title = {{UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation}},
author = {Kefu Yi and Kai Luo and Xiaolei Luo and Jiangui Huang and Hao Wu and Rongdong Hu and Wei Hao},
year = {2023},
eprint = {2312.08952},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2312.08952}
}
只靠運動追蹤的方法,最怕鏡頭在動。
人明明站著不動,鏡頭一轉,他在畫面上的位置就跑了一大段。卡爾曼濾波預測的框和新偵測到的框對不上,IoU 掉到 0,追蹤就斷了。
常見的解法有兩種:加上外觀特徵,或是做相機運動補償(CMC),每一幀都估計鏡頭怎麼動,再把軌跡的位置修正回來。BoT-SORT、StrongSORT、Deep OC-SORT 都這樣做。兩種方法都有效,但都要額外的計算。逐幀的相機運動補償要在每一幀抽特徵點、算光流或做影像對位,影片解析度一高就很吃力。
長沙理工大學的 Kefu Yi、Kai Luo、Wei Hao 等人提出 UCMCTrack,換了一個角度。與其在畫面上追,不如把每個人投影回地面上去追;鏡頭的晃動,就當成運動模型裡的雜訊處理。整段影片只用一組固定的補償參數,不必逐幀計算。
定義問題
作者想回答的是,能不能只用運動線索,又不怕鏡頭移動,而且不必逐幀做相機運動補償?
他們認為問題出在 IoU 和影像平面。
IoU 是最常用的關聯距離,但只要兩個框沒有重疊,它就是 0。鏡頭抖動、取樣率低、目標移動快,都會讓預測框和偵測框完全分開。GIoU、DIoU、C-BIoU 這些改良,讓不重疊的框也能算出分數,但它們都還是在影像平面上計算。
影像平面上的位置,混進了鏡頭的運動和透視的變形。同樣是往前走一步,靠近鏡頭的人在畫面上移動得多,遠處的人移動得少。人實際上是在地面上走路,真正規律的運動,應該在地面上才看得到。
SparseTrack 用估計的偽深度、Quo Vadis 把位置投影到鳥瞰圖上算距離,都朝這個方向走了一步,但它們還是搭配 IoU 使用,也沒有處理投影帶來的不確定性。
解決問題

UCMCTrack 仍是先偵測、再關聯,只用運動線索。它改的是在哪裡建運動模型、用什麼距離配對,以及怎麼處理鏡頭的晃動。
在地面上建運動模型
一個人的偵測框,取它底邊的中點,大致就是腳踩在地上的位置。用相機的內參和外參,把這個點從影像座標 投影到地面座標 :
是相機內參和外參組成的投影矩陣, 是尺度因子。
卡爾曼濾波就在地面上運作,狀態只有地面位置和速度 ,用最簡單的等速模型。和 SORT 系列追蹤框的中心、面積、長寬比不同,這裡完全不管框的大小。
投影之後,誤差也要跟著投影
偵測器的誤差是在影像上產生的。作者假設影像上的誤差在兩個方向獨立,大小和框的寬高成比例:
是偵測雜訊係數,、 是偵測框的寬高。
這個誤差投影到地面上,就不再是兩個方向獨立的了。用投影的一階近似,地面上的誤差共變異數是
由投影矩陣 的反矩陣元素和地面位置組成。 不是對角矩陣,代表地面上的誤差在 、 兩個方向強烈相關,作者稱為相關量測分布(Correlated Measurement Distribution,CMD)。
這在直覺上很合理。從斜上方往下拍,一個人在畫面上上下偏了幾個像素,投影到地面上,可能就是沿著視線方向前後差了一大段。所以地面上的不確定性,是一個沿著視線方向拉長、而且傾斜的橢圓,而不是一個正圓。
用馬氏距離取代 IoU
有了地面上的預測和帶有不確定性的量測,配對的距離就用馬氏距離。作者稱為映射馬氏距離(Mapped Mahalanobis Distance,MMD),分三步:
- 殘差:, 是投影到地面的量測, 是卡爾曼濾波預測的狀態。
- 殘差的共變異數:, 是預測的共變異數。
- 正規化的馬氏距離:
第一項是一般的馬氏距離,殘差在不確定性大的方向上不太扣分,在不確定性小的方向上扣很多。第二項 則把不確定性本身也算進去。不確定性越大,距離的基礎值越高,一個很模糊的量測,就不會因為「什麼都有可能」而輕易配上。

這張圖把三種情況並排。(a) 影像上的兩組框沒有重疊,IoU 完全幫不上忙。(b) 改到地面上算距離,但如果把誤差當成兩個方向獨立,橢圓都是直立的,距離最近的反而是錯的那一個。(c) 用了相關量測分布,橢圓沿著真正的不確定方向傾斜,正確的配對才浮現出來。
把鏡頭晃動當成雜訊
最後是鏡頭的運動。作者不去估計每一幀鏡頭怎麼動,而是把它看成一個造成加速度的雜訊來源。在時間間隔 內,一個未知的加速度 會讓位置和速度分別改變
把它寫成矩陣 ,卡爾曼濾波的過程雜訊共變異數就是
、 稱為過程補償因子,分別吸收鏡頭傾斜和旋轉造成的運動雜訊。過程雜訊放大,卡爾曼濾波就會更相信新的量測、容許預測偏得更多,鏡頭一晃造成的位移,就不會讓追蹤斷掉。
這兩個因子在同一段影片裡固定不變,這就是標題裡「均勻的相機運動補償」(Uniform Camera Motion Compensation)的意思。和逐幀的相機運動補償相比,它不需要任何影像處理。作者表示,給定偵測結果後,UCMCTrack 在單顆 CPU 上每秒可以處理超過 1,000 幀。
其餘的流程和 SORT 一樣:用匈牙利演算法配對;沒配上的軌跡累計遺失時間,超過門檻就刪除;沒配上、信心又夠高的偵測,建立新軌跡。整個方法沒有用到 IoU,也沒有外觀特徵。
相機參數從哪裡來
把點投影到地面,需要相機的內參和外參。KITTI 有提供,但 MOT17、MOT20 和 DanceTrack 都沒有,作者是手動估計的。
官方程式附了一個估計工具,使用者手動調整三個旋轉角、焦距和平移量,讓畫面上的虛擬地面格線和影像裡的地面對齊。README 也說明,這樣估出來的參數未必非常精確,但對 UCMCTrack 來說已經夠用。
討論
偵測都沿用 ByteTrack 公開的 YOLOX 權重,KITTI 則用 PermaTrack 的偵測結果。UCMCTrack+ 是額外加上 ECC 影像對位的版本,和 StrongSORT 的作法一致。
主要結果
| 方法 | MOT17 HOTA | MOT17 IDF1 | DanceTrack HOTA | DanceTrack AssA |
|---|---|---|---|---|
| ByteTrack | 63.1 | 77.3 | 47.3 | 31.4 |
| OC-SORT | 63.2 | 77.5 | 55.1 | 40.4 |
| C-BIoU | 64.1 | 79.7 | 60.6 | 45.4 |
| SparseTrack | 65.1 | 80.1 | 55.5 | 39.1 |
| BoT-SORT* | 65.0 | 80.2 | — | — |
| Deep OC-SORT* | 64.9 | 80.6 | 61.3 | 45.8 |
| UCMCTrack | 64.3 | 79.0 | 63.4 | 51.1 |
| UCMCTrack+ | 65.8 | 81.1 | 63.6 | 51.3 |
整理自原論文 Table 1、Table 2,測試集;標*的方法另外使用外觀特徵。
- MOT17: 不加影像對位的 UCMCTrack 是 64.3,和其他純運動方法差不多;加上之後的 UCMCTrack+ 是 65.8,比用了外觀特徵的 BoT-SORT、Deep OC-SORT 還高。
- DanceTrack: 差距更大。UCMCTrack 的 HOTA 63.4,比 C-BIoU 高 2.8,關聯的 AssA 從 45.4 到 51.1。只靠位置的運動模型,在舞者身上贏過了加了外觀的 Deep OC-SORT。
- MOT20: UCMCTrack 是 62.8,和 MotionTrack 打平,略低於 SparseTrack 的 63.4,也低於有外觀的 Deep OC-SORT(63.9)。這裡加不加影像對位都一樣,多半是因為 MOT20 的鏡頭本來就是固定的。
- KITTI: 這是一個 10 FPS、鏡頭跟著車子移動的駕駛資料集。UCMCTrack 的汽車 HOTA 是 77.1,比 OC-SORT 的 76.5 高;但加上影像對位的 UCMCTrack+ 反而掉到 74.2。作者推測是影像對位的參數估得不準。
每個零件的貢獻
消融以 ByteTrack 為基準,在 MOT17 和 DanceTrack 的驗證集上逐步替換:
| 設定 | MOT17 HOTA | MOT17 IDF1 | DanceTrack HOTA | DanceTrack IDF1 |
|---|---|---|---|---|
| ByteTrack(IoU) | 68.4 | 77.1 | 47.9 | 47.3 |
| 換成 MMD | 68.1 | 75.9 | 46.3 | 43.8 |
| +相關量測分布 | 70.4 | 79.7 | 55.1 | 53.9 |
| +過程雜訊補償 | 72.0 | 82.2 | 60.4 | 62.6 |
整理自原論文 Table 4,驗證集。
- 只把 IoU 換成馬氏距離,反而變差。 作者的解釋是,IoU 同時考慮了位置和框的高度,MMD 只看地面上的一個點。他們也提到,未來可以把高度資訊加進 MMD。
- 加上相關量測分布,就超過了 IoU。 DanceTrack 上從 46.3 跳到 55.1,多了將近 9 分。誤差的形狀投影對了,地面上的距離才有意義。
- 過程雜訊補償再加一大截。 MOT17 多 1.6 分,DanceTrack 多 5.3 分,IDF1 更多了 8.7 分。
關於第 3 點,作者自己也說,DanceTrack 大部分的影片並沒有明顯的視角移動,鏡頭幾乎是固定的。那過程雜訊補償在這裡補償的是什麼?以下是本文的推測:放大過程雜訊,讓卡爾曼濾波更願意相信新的量測、容許更大的預測誤差,它吸收的多半是舞者本身突然變向、變速造成的偏差,而不是鏡頭的晃動。從這個角度看,它和 OC-SORT 修正卡爾曼濾波、C-BIoU 把框撐大,處理的其實是同一個問題。
逐幀補償,還要不要做
| 設定 | MOT17 HOTA | DanceTrack HOTA |
|---|---|---|
| ByteTrack | 68.4 | 47.9 |
| ByteTrack+逐幀補償 | 71.0 | 47.6 |
| UCMCTrack | 72.0 | 60.4 |
| UCMCTrack+逐幀補償 | 73.0 | 59.2 |
整理自原論文 Table 5,驗證集。
在 MOT17 上,UCMCTrack 單獨就比「ByteTrack 加逐幀補償」好,兩者再疊加還能多 1 分。但在 DanceTrack 上,加逐幀補償反而讓兩個方法都變差。作者的解釋是,DanceTrack 的鏡頭幾乎不動,做了影像對位反而讓重疊在一起的人產生微小的位移,配錯軌跡。
補償因子要依場景調

作者把 MOT17 驗證集分成鏡頭固定和鏡頭移動兩組,掃過不同的補償因子。兩組的曲線幾乎是反過來的。鏡頭固定的影片,補償因子小一點最好,太大反而比基準差;鏡頭移動的影片,補償因子要大到 附近,太小則會比基準差 5 分。
所以「均勻」指的是同一段影片裡固定不變,不同影片之間還是得各自設定。至於偵測雜訊係數 ,在 0.05 時最好,在 0.04 到 0.1 之間影響都不大。
相機參數估錯了怎麼辦
相機參數是手動估的,難免有誤差。作者分別在外參的三個旋轉軸上加入誤差:繞垂直軸的偏航誤差影響很小,因為它不太會讓估出來的地面變形;另外兩個軸的誤差一大,地面就會明顯扭曲,表現也跟著下降。這時就得重新調整參數,讓估出來的地面和實際的地面對齊。
這也是使用這個方法時最實際的門檻。官方程式的 issue 裡,有好幾則都在詢問相機參數該怎麼估、能不能全自動估計。
結論
UCMCTrack 把多目標追蹤從影像平面搬回地面。偵測框的底邊中點投影到地面、誤差也一起投影成傾斜的橢圓,再用馬氏距離取代 IoU;鏡頭的晃動則當成卡爾曼濾波的過程雜訊,整段影片一組參數。它不用外觀、不做逐幀的影像對位,在 MOT17 和 DanceTrack 上都追上甚至超過了用外觀特徵的方法。
代價是需要相機參數,而大部分公開資料集並沒有提供,得手動估計;作者也承認,這個方法假設所有人都站在同一個平面上,遇到樓梯、看台、斜坡這類場景就不成立。
追蹤器在畫面上看到的,是投影過的世界。把它還原回地面,很多看似不規則的運動,其實只是透視和鏡頭晃動造成的錯覺。