返回論文筆記資料庫
arXiv 2020多目標追蹤論文筆記

MOT20

沙丁魚罐頭

原始論文

MOT20: A benchmark for multi object tracking in crowded scenes

論文作者

Patrick Dendorfer · Hamid Rezatofighi · Anton Milan …

查看全部 9 位作者

Patrick Dendorfer · Hamid Rezatofighi · Anton Milan · Javen Shi · Daniel Cremers · Ian Reid · Stefan Roth · Konrad Schindler · Laura Leal-Taixé

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2003.09003
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingmot202020,
  title = {{MOT20: A benchmark for multi object tracking in crowded scenes}},
  author = {Patrick Dendorfer and Hamid Rezatofighi and Anton Milan and Javen Shi and Daniel Cremers and Ian Reid and Stefan Roth and Konrad Schindler and Laura Leal-Taixé},
  year = {2020},
  eprint = {2003.09003},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.09003}
}
本頁內容

讀過 ByteTrack、OC-SORT、StrongSORT 的主表,你一定看過 MOT20 這一欄。它通常緊跟在 MOT17 後面,數字普遍比較低,速度也慢得多。

MOT20 的論文本身只有 7 頁,大半篇幅在說明標註規則和評估方式,和四年前的 MOT16 幾乎一樣。真正新的東西,是 8 段極度擁擠的影片。

作者群是 MOTChallenge 的維護團隊,來自慕尼黑工業大學、阿德雷德大學、蘇黎世聯邦理工學院和達姆施塔特工業大學。根據論文的統計,MOTChallenge 從 2014 年上線以來,已有超過 1,000 名使用者,5 個挑戰共用了 44 段影片、270 萬個框。MOT20 的影片在 2019 年先用來辦了一場研討會挑戰賽,這篇論文是之後補上的完整說明。

定義問題

MOT15 到 MOT17 讓多目標追蹤有了乾淨的資料和一致的評估。但作者的經驗是,大多數方法都可能被過度調整到某一個資料集上,換一個完全不同的情境,不大改參數、甚至不換模型,就應付不來。

擁擠是其中一個還沒被好好測試的情境。人一多,框變小、互相遮擋,偵測器開始漏人,追蹤器要在一大群長得差不多的框裡分辨誰是誰。作者想要一組能把方法「推到極限」的影片。

解決問題

8 段影片,3 個場景

原論文 Fig. 1:MOT20 的 8 段影片來自 3 個場景。上排是訓練影片,下排是測試影片。場景 1 是明亮的室內大廳,訓練兩段、測試一段;場景 2 是夜間的戶外廣場,人群極度密集,訓練兩段、測試一段;場景 3 是白天的戶外街道,只出現在測試,共兩段。
原論文 Fig. 1(Dendorfer 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

8 段影片拍自 3 個場景,訓練和測試各 4 段,全部從高處俯拍。場景 1 和場景 2 在訓練和測試都有,場景 3 只出現在測試。作者刻意留一個沒看過的場景,用來測試方法能不能類推到新環境。測試的標註不公開,避免方法被調到過度貼合特定影片。

各段影片的統計如下:

影片場景解析度長度(幀)軌跡行人框每幀人數
01室內1920×10804297419,87046.3
02室內1920×10802,782270154,74255.6
03戶外、夜1173×8802,405702313,658130.4
05戶外、夜1654×10803,3151,169646,344195.0
04戶外、夜1545×10802,080669274,084131.8
06戶外、日1920×7341,008271132,757131.7
07室內1920×108058511133,10156.6
08戶外、日1920×73480619177,48496.1

整理自原論文 Table 1;粗體是測試影片。全部影片都是每秒 25 幀。

這張表有幾個地方值得多看一眼。

第一,影片很短。訓練影片加起來不到 6 分鐘,測試不到 3 分鐘,但訓練集有 113 萬個行人框,測試集也有 52 萬個。

第二,資料集被少數幾段影片主導。光是 MOT20-05 就有 64.6 萬個框,占整個訓練集的 57%;測試集裡的 MOT20-04 占了 53%。MOTChallenge 是把所有測試影片串在一起算一個 MOTA,所以 MOT20-04 這一段夜間廣場的表現,大致就決定了測試分數。MOT16 筆記裡提過 MOT16-03 也有同樣的情況。

第三,沒看過的場景 3(MOT20-06、08),解析度是 1920×734,和其他影片的比例都不同。

平均每幀幾個人?

論文和後來的引用,對「多擠」給過好幾個數字。論文正文說密度可以達到每幀 246 人;ByteTrack 的論文寫測試集平均每張影像 170 人;上表的測試集平均則是每幀 115.5 人。

這些數字的差別,在於算了哪些東西。MOT20 不只標行人,還標了下面這些類別:

類別數量
行人1,652,040
靜止的人335,891
地上的遮擋物87,786
非機動車輛22,365
人群4,303
合計2,102,385

整理自原論文 Table 2。

把測試集所有類別的標註加起來,共 765,465 筆,除以 4,479 幀,大約是每幀 170.9 筆,這就是常被引用的 170。真正會被拿來評估的只有行人,每幀 115.5 人。

至於 246,正文有一處稱它是平均密度,但沒有說明怎麼算;表上各段影片的平均最高是 MOT20-05 的 195 人,所以 246 比較可能是單一幀的最大值。不管用哪個數字,MOT20 都遠比 MOT17 擁擠。

標註規則

標註沿用 MOT16 的規則,把畫面裡的東西分成三組:

  1. 移動中的行人。 所有看得出是行人、正在移動的人。短暫彎腰撿東西、蹲下跟小孩說話,仍然算在這一類。追蹤器要追的就是這一組。
  2. 分類模稜兩可的人形。 坐著、躺著、整段影片站在原地不動的人,以及人的人工表示(像海報上的人)。評估時,追到這些人不加分,沒追到也不扣分。
  3. 車輛和遮擋物。 不參與評估,提供給使用者訓練,或用來計算行人被遮擋的程度。停著的車和腳踏車,只有在擋住行人時才會標。
原論文 Fig. 4:MOT20 標註類別的例子。由左到右依序是兩個行人(ped 6、ped 7)、一個靜止的人(static_person)、兩個騎腳踏車的人(non_mot_vhcl,非機動車輛),以及一座完全擋住後方的資訊亭(occluder_full)。每個框上標了類別、ID 和框的高度。
原論文 Fig. 4(Dendorfer 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

「不罰也不獎」這一組在 MOT20 特別重要。靜止的人一共有 33.6 萬筆,是行人框的五分之一。在測試影片 MOT20-08 裡,靜止的人有 52,998 筆,行人是 77,484 筆;換句話說,畫面裡大約每 10 個人就有 4 個不在評估範圍內。

偵測器當然不會管一個人有沒有在走路。一個依賴偵測的追蹤器,很可能會把這些站著不動的人也追得好好的;要是這些人算誤報,追蹤器就會被冤枉。反過來,一個靠運動線索的追蹤器沒追坐著的人,也不該被罰漏檢。

另外,追蹤目標的定義也很具體:沿著視線可以直接走到、中間沒有實體阻隔的直立行人。倒影、玻璃後面的人、騎腳踏車或坐在車上的人,都不算。

公開偵測

和 MOT17 一樣,MOT20 提供一組公開偵測,讓大家在同樣的輸入上比較追蹤演算法。這次用的是以 ResNet-101 為骨幹的 Faster R-CNN,在 MOT20 的訓練影片上訓練。MOT20 挑戰一開始只接受用公開偵測的結果;之後開放常態投稿時,才同時接受自己的偵測器。

這個偵測器在測試影片上的表現,正好說明了作者為什麼要留一個沒看過的場景:

影片場景AP召回率精確率每幀誤報
04夜間廣場(看過)0.6369.798.01.55
07室內(看過)0.7883.692.51.89
06白天街道(沒看過)0.4357.974.412.64
08白天街道(沒看過)0.3855.261.613.93

整理自原論文 Table 6,測試影片。

在看過的場景,精確率都在九成以上,每幀誤報不到 2 個。換到沒看過的白天街道,精確率掉到六、七成,每幀誤報暴增到 12 到 14 個,AP 也剩 0.4 左右。

這組公開偵測,等於把類推失敗直接交給了追蹤器。用公開偵測的追蹤器,在 MOT20-06 和 08 上一開始就得處理大量的假框。

偵測統計也顯示框有多小。四段測試影片裡,偵測框最矮的只有 21 到 37 像素;訓練影片 MOT20-03 更有矮到 16 像素的框。

檔案格式和評估

MOT20 的檔案是簡單的 CSV,每一行一個物體,9 個欄位依序為幀號、ID、框的左上角 x 和 y、寬、高、信心分數、類別、可見度。偵測檔的 ID 填 −1;真值檔的信心分數欄改當旗標用,0 表示這一筆不列入評估。座標從 1 開始算。

評估也沿用 MOT16:IoU 至少 0.5 才算配上,指標是 CLEAR MOT 和 Wu 與 Nevatia 的軌跡品質指標(MT、ML、FM)。作者特別說明,這裡的 ID 切換定義比原始的 CLEAR MOT 嚴格:一個真實目標這一次配到的軌跡,只要和它上一次的配對不同,就算一次。所有測試影片串在一起計算,而不是各段平均。

針對擁擠場景,MOT20 還加了一條 MOT17 沒有的規則。結果框和靜止的人、倒影、騎車的人、干擾物這些類別重疊超過 75%,就從結果中拿掉,論文把這一條寫在偵測挑戰的評估步驟裡。

MOTA 仍是主要指標,作者照樣補了一句,這個數字能不能單獨當作唯一的表現指標「非常值得爭論」。為了看出方法有沒有被調到只適合某幾段影片,排行榜也會列出各段影片 MOTA 的標準差。

論文本身沒有任何追蹤器的結果,只有上面的偵測器表現。追蹤器怎麼在 MOT20 上表現,要到之後的論文和排行榜去看。

討論

把站內筆記裡 MOT20 出現過的地方串起來,這組影片考的東西大致有四項。

擁擠拖慢了需要外觀特徵的方法。 FairMOT 在 MOT20 上只剩 13.2 FPS,StrongSORT 只有 1.5 FPS。每一幀上百個人,每個人都要抽一次外觀特徵、和每條軌跡比一次。

擁擠讓運動模型的誤差累積更明顯。 OC-SORT 在 MOT20 上和 ByteTrack 拉開的差距,比在 MOT17 上大。遮擋多、一被擋住就是好幾幀,卡爾曼濾波沒有觀測可以修正,誤差就一路累積。

固定鏡頭。 MOT20 的影片都是固定的攝影機,所以相機運動補償在這裡沒有用處。Deep OC-SORT 的消融就顯示,加上相機運動補償後,MOT17 有明顯提升,MOT20 則沒有。

擁擠和難認是兩回事。 DanceTrack 的作者特別指出,MOT20 雖然人很多,但行人移動很規律,彼此的相對位置和遮擋區域幾乎不變,這樣的擁擠對外觀比對並不構成障礙。DanceTrack 於是改從另一個方向出題,人很少,但長得一樣、動作又亂。

結論

MOT20 在 MOTChallenge 既有的規則上,換上 8 段極度擁擠的影片:每幀平均一百多個行人、最小的框只有十幾個像素,還留了一個只在測試出現的白天街道。論文本身很短,沒有方法,也沒有追蹤結果,但它把「擁擠」變成了之後每一篇追蹤論文都得交代的一欄。

讀它的數字時,有兩件事可以記著:測試分數大半由 MOT20-04 一段夜間廣場決定;常聽到的「每幀 170 人」包含了不參與評估的類別,真正被評估的行人是每幀 115.5 人。