返回論文筆記資料庫
arXiv 2021ECCV 2022多目標追蹤論文筆記

ByteTrack

一個都不能少

原始論文

ByteTrack: Multi-Object Tracking by Associating Every Detection Box

論文作者

Yifu Zhang · Peize Sun · Yi Jiang …

查看全部 9 位作者

Yifu Zhang · Peize Sun · Yi Jiang · Dongdong Yu · Fucheng Weng · Zehuan Yuan · Ping Luo · Wenyu Liu · Xinggang Wang

發表版本
ECCV 2022會議
arXiv 首次提交
arXiv:2110.06864
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingbytetrack2021,
  title = {{ByteTrack: Multi-Object Tracking by Associating Every Detection Box}},
  author = {Yifu Zhang and Peize Sun and Yi Jiang and Dongdong Yu and Fucheng Weng and Zehuan Yuan and Ping Luo and Wenyu Liu and Xinggang Wang},
  year = {2021},
  eprint = {2110.06864},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2110.06864}
}
本頁內容

這篇論文的引言,開頭引了一句黑格爾:「凡是合理的都是現實的,凡是現實的都是合理的。」

追蹤論文引哲學家,不太常見。作者想說的是,偵測器給出的低分框,有些其實是真的。

從 SORT 開始,幾乎所有的追蹤器都有一個習慣,先把偵測分數低於某個門檻的框丟掉,只拿高分框去配對。理由很合理,低分框裡有很多背景和誤報,留著只會干擾追蹤。

可是一個人被別人擋住一半時,偵測器的分數也會掉下來。把這些框丟掉,這個人的軌跡就斷了。

FairMOT 的第一作者張一夫,這次和華中科技大學、香港大學、字節跳動的團隊一起,把注意力從網路架構移到這個門檻上。

定義問題

原論文 Figure 2:連續三幀 t1、t2、t3 的追蹤例子。(a) 偵測框與分數:左邊女子一直是 0.9,中間偏右的老人是 0.9 和 0.8,女子身後被擋住的人從 0.8 掉到 0.4 再掉到 0.1,最右邊的背景區域一直有一個 0.1 的框。(b) 只關聯分數高於 0.5 的偵測框:被擋住的人(紅框)在 t2、t3 消失了。(c) 關聯每一個偵測框:被擋住的人在 t2、t3 以低分框接回原本的紅色軌跡,虛線是卡爾曼濾波的預測框;最右邊的背景框則因為沒有任何軌跡與之重疊而被丟掉。
原論文 Figure 2(Zhang 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

我們先看 (a) 這排。第一幀有四個框,其中三個人的分數都在 0.8 以上,最右邊那個 0.1 的框是背景。

到了第二幀,左邊的女子走到中間那個人前面,把他擋住了一部分,他的分數從 0.8 掉到 0.4;第三幀擋得更多,分數只剩 0.1。

(b) 是一般的作法,只用分數高於 0.5 的框去配對。被擋住的那個人在第二幀就失去了觀測,紅色軌跡跟著消失;等他從女子身後走出來,就會被當成一個新的人。

那全部留下來呢?最右邊那個 0.1 的背景框也會被留下來,變成一條假的軌跡。

這就是偵測門檻的兩難。門檻高,漏掉被遮擋的人;門檻低,引入背景誤報。作者指出,很少有方法真正處理這個兩難。

他們注意到的線索,是和既有軌跡的相似度。被擋住的那個人,雖然分數很低,但他的框和卡爾曼濾波預測的紅色軌跡位置高度重疊;最右邊的背景框,附近沒有任何軌跡。只要拿低分框去和「上一輪沒配上的軌跡」比對,就能把真物體撈回來,同時把背景過濾掉。

(c) 就是這樣做的結果。

解決問題

作者把這個關聯方法命名為 BYTE。名字來自電腦裡的位元組,每一個偵測框都是軌跡的一個基本單位,就像位元組是程式的基本單位。

整個流程只有兩次關聯:

準備: 用偵測分數門檻 τ\tau 把這一幀的偵測框分成兩組,高分框 Dhigh\mathcal{D}_{high} 和低分框 Dlow\mathcal{D}_{low}。用卡爾曼濾波預測每條軌跡在這一幀的位置。

第一次關聯: 拿高分框和所有軌跡配對,包括暫時遺失的軌跡。相似度可以用預測框和偵測框的 IoU,也可以用 re-ID 特徵的距離,用匈牙利演算法求解。沒配上的高分框記為 Dremain\mathcal{D}_{remain},沒配上的軌跡記為 Tremain\mathcal{T}_{remain}。

第二次關聯: 拿低分框和 Tremain\mathcal{T}_{remain} 配對,相似度只用 IoU。這一步結束後,仍然沒配上的低分框直接丟掉,當作背景。

收尾: 兩次都沒配上的軌跡移到遺失集合,保留 30 幀,期間如果在第一次關聯中被配上,就恢復原本的 ID;超過 30 幀才刪除。第一次關聯中沒配上的高分框,則開啟新的軌跡。遺失中的軌跡不輸出。

為什麼第二次關聯只用 IoU?低分框之所以低分,通常是因為嚴重遮擋或動態模糊,這時候的外觀特徵不可靠。位置反而比較可靠:被擋住的人不會在一幀內跑太遠。

BYTE 和偵測器無關,也不限定第一次關聯用什麼相似度,可以接到任何追蹤器的後面。

作者再把 BYTE 接上當時很強的偵測器 YOLOX,命名為 ByteTrack。在 MOT17、MOT20 這些行人資料集上,ByteTrack 兩次關聯都只用 IoU,沒有任何 re-ID 特徵。

討論

ByteTrack 的偵測器是 YOLOX-X,在 COCO 預訓練後,用 MOT17、CrowdHuman、CityPersons、ETHZ 一起訓練 80 個 epoch,輸入尺寸 1440×8001440 \times 800,8 張 V100 約 12 小時。速度以 V100、FP16、批次大小 1 量測。

消融實驗把 MOT17 訓練集每段影片切成前後兩半,前半訓練、後半驗證,訓練資料另外加上 CrowdHuman。

和其他關聯方法比

原論文 Table 2:在 MOT17 與 BDD100K 驗證集上,比較 SORT、DeepSORT、MOTDT 與 BYTE(不用或使用 re-ID)。MOT17 上 SORT 的 MOTA 74.6、IDF1 76.9、ID 切換 291;DeepSORT 為 75.4、77.2、239;MOTDT 為 75.8、77.6、273;BYTE 為 76.6、79.3、159;BYTE 加 re-ID 為 76.3、80.5、216。BDD100K 上 mMOTA 依序為 30.9、24.5、26.7、39.4、45.5。FPS 依序為 30.1、13.5、11.1、29.6、11.8。
原論文 Table 2(Zhang 等人),取自 PDF 第 6 頁,arXiv 授權,學術引用。

這張表的偵測器都一樣,差別只在關聯方法。

SORT 可以看成 BYTE 的基準,兩者都只用卡爾曼濾波和 IoU,差別只在有沒有第二次關聯。BYTE 把 MOTA 從 74.6 提升到 76.6,IDF1 從 76.9 提升到 79.3,ID 切換從 291 降到 159,速度幾乎不變(30.1 對 29.6 FPS)。這就是低分框的價值。

更讓作者意外的是 DeepSORT。它多了 re-ID 模型,但 MOTA、IDF1 和 ID 切換都輸給只用 IoU 的 BYTE,速度也只有一半不到。作者的解讀是,偵測框夠準的時候,簡單的卡爾曼濾波就能做好長距離的關聯;遇到嚴重遮擋,re-ID 特徵反而容易出錯,運動模型比較可靠。

BYTE 加上 re-ID 之後,IDF1 升到 80.5,但 MOTA 略降、ID 切換增加。

BDD100K 的情況則不同。這是車載影片,相機移動大、標註幀率低,卡爾曼濾波在這裡會失效,所以作者在 BDD100K 不用卡爾曼濾波。只用 IoU 的 BYTE 雖然比 SORT 高出很多(39.4 對 30.9),ID 切換卻高達 27902;加上 re-ID 後 mMOTA 升到 45.5,ID 切換降到 9140。

作者也比較了兩次關聯該用什麼相似度。在 MOT17 上,第一次用 IoU 或 re-ID 都可以,IoU 的 MOTA 和 ID 切換比較好,re-ID 的 IDF1 比較高;在 BDD100K 上,第一次關聯用 re-ID 好得多。但兩個資料集的第二次關聯都是 IoU 比較好,用 IoU 比用 re-ID 大約多 1 分 MOTA。這支持了低分框的外觀特徵不可靠的判斷。

對門檻不再那麼敏感

原論文 Figure 3:MOT17 驗證集上,偵測分數門檻從 0.2 到 0.8 時,BYTE(紅線)和 SORT(藍線)的 MOTA 與 IDF1。BYTE 的 MOTA 在 0.2 到 0.7 間大致維持在 76 附近,到 0.8 才降到約 74;SORT 的 MOTA 在 0.4 附近最高約 74.5,之後一路下降,到 0.8 只剩約 66。IDF1 也有類似趨勢:BYTE 大多在 78 到 79 之間,0.8 時降到約 77;SORT 在 0.8 時掉到約 73。
原論文 Figure 3(Zhang 等人),取自 PDF 第 6 頁,arXiv 授權,學術引用。

偵測門檻通常是追蹤器最敏感、最需要仔細調的超參數。作者把門檻從 0.2 調到 0.8。SORT 的 MOTA 在門檻變高後快速下滑,從 0.4 時的約 74.5 掉到 0.8 時的約 66;BYTE 則相對平穩。

道理很直接。BYTE 的第二次關聯會把低於門檻的框撈回來,門檻調高,被丟掉的框其實還有第二次機會。

作者也統計了低分框裡的真陽性與誤報。在所有分數介於下限和門檻之間的框中,有些影片(例如 MOT17-02)誤報遠多於真陽性;但 BYTE 從中撈回來的框,真陽性明顯多於誤報。和既有軌跡的相似度確實是一個有效的篩子。

接到別人的追蹤器上

原論文 Table 3:把 BYTE 套用到九個追蹤器上,MOT17 驗證集的結果。大多數追蹤器各有三列:原始方法、把 BYTE 的第二次關聯插入原本的關聯流程、直接用該追蹤器的偵測框跑完整的 BYTE(Motion(K) 表示卡爾曼濾波)。例如 FairMOT 從 MOTA 69.1、IDF1 72.8、ID 切換 299,變為 70.4、74.2、232 和 70.3、73.2、236;CenterTrack 從 66.1、64.2、528,變為 66.3、64.8、334 和 67.4、74.0、144;MOTR 從 64.7、67.2、346,變為 64.3、69.3、263 和 65.7、68.4、260。綠色標示至少提升 1 分的項目。
原論文 Table 3(Zhang 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

這是全篇最有說服力的一張表。作者把 BYTE 套到九個各式各樣的追蹤器上:JDE、CSTrack、FairMOT、TraDeS 這類運動加 re-ID 的方法;只用 re-ID 的 QDTrack;用學習式運動的 CenterTrack;鏈式結構的 Chained-Tracker;用注意力傳遞框的 TransTrack 和 MOTR。

套用的方式有兩種:

  1. 插入模式: 原本的關聯照做,結束後把沒配上的軌跡拿去和低分框做一次 IoU 配對。
  2. 替換模式: 只拿該追蹤器的偵測框,關聯全部換成 BYTE。

幾乎每一個追蹤器、每一項指標都有進步。最明顯的是 CenterTrack,替換模式下 MOTA 多 1.3、IDF1 多 9.8,ID 切換從 528 降到 144。CenterTrack 原本只靠位移倒推做局部配對,被擋住的人一斷就換 ID,BYTE 的遺失軌跡保留機制正好補上這一塊。

不過也不是全面進步。TraDeS 在替換模式下 MOTA 少了 0.3;MOTR 在插入模式下 MOTA 少了 0.4,IDF1 則多了 2.1。這張表比較的是同一個偵測器下關聯方法的差異,BYTE 的貢獻主要在 IDF1 和 ID 切換。

排行榜

基準MOTAIDF1HOTAID 切換FPS
MOT1780.377.363.1219629.6
MOT2077.875.261.3122317.5

整理自原論文 Table 4、Table 5 的 ByteTrack 列。

MOT17 測試集上,ByteTrack 比當時第二名的 ReMOT 高出 3.3 MOTA、5.3 IDF1、3.4 HOTA,速度也是全表最快。作者特別提到,ByteTrack 的訓練資料約 2.9 萬張影像,比許多方法用的 7.3 萬張少。

MOT20 平均每張測試影像有 170 個人,擁擠得多。論文寫,ByteTrack 把 MOTA 從 68.6 提升到 77.8,ID 切換從 4209 降到 1223,少了 71%。在 HiEve 上,MOTA 61.7、IDF1 63.1;在 BDD100K 測試集上,mMOTA 從 35.5 提升到 40.1。四個基準都排第一。

這裡要分清楚兩件事。ByteTrack 在排行榜上的大幅領先,有相當一部分來自 YOLOX-X 這顆強偵測器;BYTE 本身在同一個偵測器下的貢獻,要看前面那兩組消融:和 SORT 比是 MOTA 多 2 分、IDF1 多 2.4 分,套到其他追蹤器上則是 MOTA 約 1 到 2 分、IDF1 最多將近 10 分。附錄另外用 YOLOX 的小模型比較,BYTE 在每一種偵測器大小下都贏過 DeepSORT,在最小的 YOLOX-Nano 上 MOTA 高了 3 分。

後來

ByteTrack 很快成了工程上的預設選項。Ultralytics 的追蹤模組提供 ByteTrack 和 BoT-SORT 兩種追蹤器,並把 ByteTrack 定位成最快、最簡單的基準;OC-SORT 和 BoT-SORT 都直接沿用 ByteTrack 的 YOLOX 權重來比較,等於把它當成新一代的 SORT。

它的弱點也很早就被看見。DanceTrack 論文報告的 ByteTrack HOTA 只有 47.7,AssA 32.1。舞者穿著相似、動作非線性,卡爾曼濾波加 IoU 的配對頂不住,MOTR 和 OC-SORT 都在這個資料集上贏過它。只靠位置把人接起來,在人走直線的時候很好用,在人轉圈的時候就不夠了。

結論

被門檻丟掉的低分框,拿去和上一輪沒配上的軌跡再配一次,只用 IoU。ByteTrack 的方法就這一個改動,SORT 的 ID 切換少了將近一半,九個不同的追蹤器套上去幾乎都進步,配上 YOLOX 之後在四個基準拿下第一。

下次調追蹤器的偵測門檻調到心煩時,可以先試試 BYTE。它讓門檻從一刀切的生死線,變成只決定「誰先配」。

黑格爾大概沒想過,自己有一天會在追蹤論文裡替低分框背書。