Tracking without bells and whistles
- 發表版本
- ICCV 2019會議
- arXiv 首次提交
- arXiv:1903.05625
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingtracktor2019,
title = {{Tracking without bells and whistles}},
author = {Philipp Bergmann and Tim Meinhardt and Laura Leal-Taixe},
year = {2019},
eprint = {1903.05625},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1903.05625}
}
多目標追蹤的論文越寫越複雜。圖模型、多重切割、條件隨機場、社會力模型,各種精巧的全域最佳化輪番上陣。
但 MOT16 上的 MOTA,兩年只進步了 2.4 分。
慕尼黑工業大學的 Philipp Bergmann、Tim Meinhardt 和 Laura Leal-Taixé 想試試另一個方向。Leal-Taixé 也是 MOTChallenge 的發起人之一,對這張排行榜再熟悉不過。他們把追蹤裡所有專門的東西都拿掉,只留一個偵測器,看看能走多遠。
結果這個「沒有花招」的追蹤器,在三個 MOTChallenge 基準的 public detection 賽道上,MOTA 都超過了當時所有已發表的方法。
這就讓人好奇了。如果一個偵測器就能解決大部分的追蹤問題,那專門的追蹤演算法到底在解決什麼?
定義問題
前面讀過的 SORT 和 DeepSORT,都把追蹤拆成兩個獨立的步驟。偵測器在每一幀各自找出框,追蹤器再想辦法把框連起來。連的時候需要預測物體下一幀在哪裡,需要判斷兩個框是不是同一個人,還需要處理遮擋、漏檢與誤報。
這些子問題各自衍生出一整套方法。但作者注意到,物體偵測器裡其實早就有一個「預測位置」的元件。
以 Faster R-CNN 為例,它先用區域提議網路(RPN)產生大量候選框,再對每個候選框做兩件事:分類頭判斷框裡是不是人,回歸頭把框微調到緊貼物體的位置。
回歸頭的工作,就是「給你一個大概的框,把它修正到物體真正的位置」。
如果把上一幀的框丟給它呢?
只要物體在兩幀之間移動得不多,上一幀的框在這一幀仍然大致框住同一個人,回歸頭就會把它拉到這個人的新位置。框的 ID 直接沿用,軌跡就延伸了一幀。
不需要卡爾曼濾波,也不需要匈牙利演算法。
解決問題
作者把這個追蹤器叫做 Tracktor,用的是在 MOT17Det 行人偵測資料上訓練的 Faster R-CNN,骨幹是 ResNet-101 加 FPN。
整個流程只有兩步。我們跟著原論文的圖,看第 幀發生什麼事:

第一步:回歸,把舊框推到新位置
先看左上角那個穿深色衣服的行人。第 幀,他的框是 。
到了第 幀,Tracktor 把同樣的座標直接放到新影像上,就是圖中的藍色虛線框。人已經往前走了一點,虛線框沒有完全框住他。
接下來,Faster R-CNN 在第 幀的特徵圖上,用這個虛線框做 RoI pooling,就像處理一個普通的候選框一樣,送進回歸頭和分類頭。回歸頭輸出修正後的框 ,緊貼著人的新位置;分類頭輸出分數 ,表示這個框裡還有沒有人。
框的 ID 從 直接傳給 。追蹤這件事就這樣完成了,中間沒有任何配對。
回歸之後,有兩種情況要把軌跡結束(kill):
- 分數太低。 如果 ,代表框裡已經沒有人了。物體可能走出畫面,或被柱子、車子這類非行人的東西擋住。
- 跟別人撞在一起。 兩個人交錯時,兩條軌跡的框可能被回歸到同一個人身上。作者對所有軌跡的新框做一次非極大值抑制(NMS),IoU 門檻是 ,被壓掉的那條軌跡就結束。
第二步:用偵測框補上新人
軌跡只會延續舊的物體,新走進畫面的人要靠偵測器找出來。偵測器在整張第 幀上跑一次,得到偵測結果 。
一個偵測框只有在和所有現有軌跡的 IoU 都小於 時,才會開啟新軌跡。也就是說,它必須覆蓋到一個還沒有任何軌跡解釋的物體。圖中右下角那個紅框,就是這樣被加進來的。
論文附錄給的設定是 、、,在所有基準上都沒有另外調整。 比 寬鬆,讓既有軌跡比較不容易被 NMS 結束,新軌跡也比較不容易冒出來,追蹤因此比較穩定。
整個 Tracktor 沒有在任何追蹤標註上訓練過。偵測器只學過「每一幀哪裡有人」,從來沒學過「誰是誰」。
兩個小擴充
回歸能成立,前提是物體在相鄰兩幀之間移動得不多。相機大幅移動或影片幀率很低時,這個前提就會失效。極端時,上一幀的框在這一幀可能完全沒框到人。
作者加了兩個簡單的運動模型:
- 相機運動補償(CMC)。 用增強相關係數(Enhanced Correlation Coefficient, ECC)把相鄰兩幀做影像對齊,先把舊框按相機的移動搬過去,再交給回歸頭。
- 等速度假設(CVA)。 給低幀率的影片用。整個實驗中,只有 MOT15 的 AVG-TownCentre 這一段用到。
另一個擴充是短期的重新辨識(reID)。被結束的軌跡不會馬上丟掉,而是保留一段時間。期間如果有新的偵測框出現,就用一個 Siamese 網路比較外觀距離,低於門檻就把舊 ID 接回去。為了避免認錯人,作者還要求兩個框的 IoU 夠大,而運動模型會持續推動這些被保留的舊框。
這個 reID 網路是 ResNet-50 為骨幹的 TriNet,用 triplet loss 在 MOT17 的追蹤標註上訓練。所以加上 reID 之後,嚴格說來就不是「完全沒用追蹤標註」了,論文也明白寫出這點。
加上 CMC 和 reID 的版本叫做 Tracktor++。
討論
消融:每個擴充值多少

這張表有三組比較,各說明一件事:
- 用偵測器追蹤,比專門訓練的偵測追蹤器好。 D&T 是一個在追蹤標註上訓練、產生兩幀短軌跡,再離線串成長軌跡的方法。它的 MOTA 是 50.1,IDF1 只有 24.9;沒碰過追蹤標註的 Tracktor 是 61.5 和 61.1。
- 偵測器變好,追蹤就變好。 拿掉 FPN 的 Tracktor-no-FPN,MOTA 從 61.5 掉到 57.4。偵測器的品質直接決定了回歸的品質。
- 兩個擴充主要在救 ID。 從 Tracktor 到 Tracktor++,MOTA 只多 0.4,ID 切換卻從 1747 降到 326,IDF1 從 61.1 升到 64.7。其中 CMC 的效果比 reID 更大:單加 CMC,ID 切換就降到 458。MOT17 有好幾段是移動相機拍的,舊框跟不上相機的晃動,是 ID 斷掉的主因之一。
測試集
在三個基準的測試集上,Tracktor++ 的 MOTA 分別是 MOT17 的 53.5、MOT16 的 54.4、MOT15 的 44.1,都是當時 public detection 已發表方法中最高的。三個基準用的是同一個在 MOT17Det 上訓練的偵測器,MOT15 的訓練資料完全沒用。
在 MOT17 上,Tracktor++ 的 FP 是 12201,次一名的 eHAF 是 33212,誤報少了一大截;IDF1 52.3 則略低於 eHAF 的 54.7 和 jCC 的 54.5。MOTA 的優勢主要來自少報錯,身分維持只算跟得上。
真正難的情況
作者沒有停在排行榜上。他們拿 MOT17 訓練集,把 Tracktor 和其他頂尖方法放在一起,按物體的可見度、大小、偵測缺口長度分組比較。

這張圖的彩色長條是各方法在不同可見度下追到的比例,淡紅色長條是真實標註裡各可見度的框有多少個。
先看右半邊。可見度超過 0.6 的物體,所有方法都追得不錯,而且淡紅色長條告訴我們,這一區的框數最多。再看左半邊。可見度低於 0.3 的物體,所有方法都只追到兩成以下,不管它是線上還是離線、有沒有外觀模型、有沒有插值。
Tracktor 在 0.3 到 0.6 之間明顯領先,靠的是回歸頭還能把半遮的人框回來;到了被嚴重遮擋的區域,就沒有任何一個方法處理得好。作者據此指出,測試集上那些不錯的 MOTA,很大一部分來自資料的分布。大部分的框本來就很清楚。
物體大小的分析也是同樣的結論。在可見度高於 0.9 的物體中,身高超過 250 像素的人,所有方法都追得好;物體越小,所有方法都越差。偵測缺口的分析則顯示,在 DPM 和 Faster R-CNN 這兩組公用偵測上,缺口超過 15 幀時,Tracktor 靠回歸補洞的能力比其他方法強得多;換成較好的 SDP 偵測後,受益最多的反而是離線插值的方法。所有方法的覆蓋率都隨缺口變長而下降。
上限在哪裡
最後,作者用真實標註替換 Tracktor 的各個元件,做成一系列 oracle,估計每個方向最多能進步多少:

幾個值得看的數字:
- 完美的 reID(Oracle-reID)不改變 MOTA,但 IDF1 多了 10 分。重新辨識只管認人,不管框準不準。
- 完美的運動模型加 reID(Oracle-MM-reID),IDF1 多 13.9。作者把它當成 Tracktor++ 這條擴充路線的上限。
- 再加上遮擋期間的線性插值(Oracle-MM-reID-INTER),IDF1 多 15.9,FN 也少了 6769,但 FP 多了 3774。插值補出來的框,有不少在相機移動或長時間遮擋時補錯了位置。
- 全部換成標註(Oracle-ALL),MOTA 多 10.7,也就是 72.2。這是 Faster R-CNN 加 FPN 這顆偵測器的絕對上限。
Oracle-Kill 也很有意思。用標註決定何時結束軌跡,MOTA 雖然升了 0.7,ID 切換卻多了 129。軌跡留得越久,回歸頭就越常遇到被遮住、看不清楚的框,反而拉錯了人。
作者的提議
作者主張把 Tracktor 當成新的出發點。大而清楚的物體,交給逐幀回歸處理;剩下的困難情況,再交給專門的方法。他們建議了兩個方向,一是能在長時間遮擋中「腦補」物體位置的運動模型,二是從「tracking-by-detection」轉向「tracking-by-tracklet」,讓偵測器直接產出短軌跡,再由後續方法處理難的部分。
回頭看,這兩個方向都有人接手。把偵測與追蹤放進同一個網路的 CenterTrack、FairMOT 很快就出現了;Tim Meinhardt 自己兩年後也和 Leal-Taixé 等人發表 TrackFormer,讓上一幀的物體以「追蹤查詢」的形式帶進下一幀的 Transformer 解碼器,延續的仍是「用上一幀的物體去找這一幀的物體」這個想法。
結論
一個訓練好的偵測器,把上一幀的框交給回歸頭,就在三個 MOTChallenge 基準拿到最高的 public detection MOTA;加上相機運動補償和短期 reID,ID 切換再少八成。
比起排行榜,後半段的分析更耐讀。被遮住大半的物體、很小的物體,當時沒有任何一個方法處理得好,排行榜上漂亮的 MOTA,大多來自那些本來就清楚好追的框。
標題說不要花招,作者自己還是加了兩個。加完之後,他們也老實承認,最難追的那些人,當時誰都還沒追好。