返回論文筆記資料庫
arXiv 2021CVPR 2022多目標追蹤論文筆記

DanceTrack

撞衫了

原始論文

DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

論文作者

Peize Sun · Jinkun Cao · Yi Jiang …

查看全部 7 位作者

Peize Sun · Jinkun Cao · Yi Jiang · Zehuan Yuan · Song Bai · Kris Kitani · Ping Luo

發表版本
CVPR 2022會議
arXiv 首次提交
arXiv:2111.14690
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingdancetrack2021,
  title = {{DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion}},
  author = {Peize Sun and Jinkun Cao and Yi Jiang and Zehuan Yuan and Song Bai and Kris Kitani and Ping Luo},
  year = {2021},
  eprint = {2111.14690},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2111.14690}
}
本頁內容

到了 2021 年,多目標追蹤的主流作法大致固定了:先偵測,再用 re-ID 特徵把每一幀的框接起來。JDE、FairMOT 在偵測網路上加嵌入分支,QDTrack 用準密集的對比學習把外觀特徵練得更強,TrackFormer、MOTR 這些 Transformer 方法,靠的也是查詢裡帶著的外觀資訊。

香港大學、卡內基美隆大學和字節跳動的研究者,包括 Peize Sun、Jinkun Cao、Kris Kitani、Ping Luo 等人,對這個趨勢提出了疑問。外觀特徵之所以這麼好用,會不會只是因為資料集太配合?

MOT17 裡的行人穿著各不相同,走路的方向和速度也很規律,幾乎是直線運動。在這樣的資料上,靠長相認人,或用線性的運動模型預測位置,都很容易成功。但換一個場景,比如一群穿著相同制服的舞者,在舞台上快速走位、互相交錯,這些方法還撐得住嗎?

有意思的是,作者群裡的 Peize Sun、Yi Jiang、Zehuan Yuan、Ping Luo,一個多月前才和其他人一起發表了 ByteTrack,一個只靠運動和 IoU 就在 MOT17 上拿到極高分的追蹤器。

定義問題

原論文 Figure 1:DanceTrack0027 影片的第 1、66、307、327 幀。一群穿著相同白色芭蕾舞裙的舞者,每個人以不同顏色的框和下方的編號標示。隨著時間推移,編號 1 到 9 的舞者左右位置不斷交換,彼此也經常互相遮擋。
原論文 Figure 1(Sun 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

作者認為,現有資料集的偏差有兩個:

  • 外觀太好分。 大多數物體長得各不相同,re-ID 模型很容易就能區分。
  • 運動太規律。 行人和車輛的移動多半接近等速直線,簡單的線性運動模型就夠用。

在這種資料上發展出來的追蹤器,自然越來越依賴外觀比對,其他線索很少被認真考慮。

這裡要注意一點。增加擁擠程度,並不能解決這個問題。MOT20 的人群非常密集,但行人移動很規律,彼此的相對位置和遮擋區域幾乎不變,這樣的「擁擠」對外觀比對根本不構成障礙。作者要的是另一種困難:物體在較大範圍內移動,遮擋的區域一直在變,彼此還會交錯換位。

解決問題

收集與標註

原論文 Figure 2:DanceTrack 全部 100 段影片的縮圖,依舞蹈類型以色框分群,包括古典舞、流行舞、大型團體舞、街舞與運動。四個放大的例子:(a) 戶外場景;(b) 光線昏暗、鏡頭很遠的場景;(c) 大型團體舞;(d) 體操,動作與身體變形更劇烈。
原論文 Figure 2(Sun 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

團體舞剛好同時具備這兩種困難。舞者常常穿著相似甚至完全相同的服裝,又會大範圍走位、做出各種姿勢、頻繁交錯。

作者用「街舞」「嘻哈舞」「啦啦隊」「韻律體操」等關鍵字,從網路上收集公開的影片,總共 100 段。類型包括街舞、流行舞、芭蕾和探戈等古典舞、大型團體舞,還有體操、中國功夫、啦啦隊等運動場景。大部分是室內,也有戶外、光線昏暗和鏡頭很遠的例子,人最多的一段有 40 人。

標註只有框和身分,規則是:

  • 部分被遮擋的人,標出完整的全身框。
  • 完全被遮擋的人不標;之後重新出現時,沿用原本的身分。

標註工具會把上一幀的框自動帶到下一幀,標註員只需要修正。標完之後,再由另一組人檢查,錯誤退回重標。

100 段影片分成訓練 40 段、驗證 25 段、測試 35 段,切分時讓平均長度、平均框數、場景和動作多樣性在三者之間大致相同。測試集的標註不公開,留給競賽使用。

MOT17MOT20DanceTrack
影片數148100
每段平均軌跡數964329
總軌跡數1,3423,456990
平均長度(秒)35.466.852.9
總長度(秒)4635355,292
總影像數11,23513,410105,855

整理自原論文 Table 1。

影片數和影像數都是 MOT 資料集的十倍左右。但每段平均只有 9 條軌跡,比 MOT17 少得多。DanceTrack 的難處不在人多,而在每個人都長得很像、又動得很亂。

用數字說明有多難

原論文 Figure 3:三種統計量的比較。(a) re-ID 特徵的餘弦距離,每根長條是一段影片,MOT17 的平均約 0.28,DanceTrack 約 0.20,距離越小代表不同人長得越像。(b) 相鄰兩幀的平均 IoU,MOT17、MOT20、KITTI、DanceTrack 都在 0.8 到 0.96 之間,DanceTrack 約 0.9。(c) 相對位置交換的頻率,MOT17 幾乎為 0,MOT20 約 0.007,KITTI 約 0.014,DanceTrack 最高,約 0.022。
原論文 Figure 3(Sun 等人),取自 PDF 第 5 頁,arXiv 授權,學術引用。

作者用三個統計量,把這兩種困難量化。

外觀相似度。 用預訓練的 re-ID 模型抽出每個人的特徵,計算同一幀裡所有人兩兩之間的餘弦距離,再對整段影片平均。DanceTrack 的平均距離明顯比 MOT17 小,也就是不同人的外觀更接近。

相鄰幀的 IoU。 同一個人在相鄰兩幀的框 IoU,再對所有人、所有幀平均。IoU 低代表移動快或幀率低。DanceTrack 和 MOT 資料集差不多,表示這個資料集的困難並不是來自不合理的高速移動。

相對位置交換的頻率。 兩個框有重疊的人,在相鄰兩幀之間,左右或上下的相對位置交換了,就記一次。等速移動的物體很少換位,非線性的運動才會頻繁交錯。DanceTrack 在這一項遠高於 MOT17 和 MOT20,甚至比鏡頭一直在動的行車資料集 KITTI 還高。

後兩項合起來看,DanceTrack 的人每一幀移動得並不多,但軌跡卻一直在交錯。這正是線性運動模型最容易出錯的情況。

評估指標

DanceTrack 以 HOTA 作為主要指標。關聯能力看 AssA 和 IDF1,偵測品質看 DetA 和 MOTA。作者的理由是,MOTA 太偏重偵測,HOTA 才能把偵測和關聯分開來看。

討論

給真實框,還追得好嗎

關聯方式MOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
IoU98.172.853.663.5
IoU + 運動96.469.454.871.3
外觀 + IoU + 運動95.059.743.260.5
外觀93.368.047.458.7

整理自原論文 Table 2,兩個資料集的驗證集;偵測框直接使用真實框。

作者先做了一個 oracle 實驗,偵測框直接給真實框,只比較關聯方法。

在 MOT17 上,只用 IoU 配對,HOTA 就有 98.1,幾乎完美。也就是說,只要偵測夠準,MOT17 的關聯幾乎不是問題。

在 DanceTrack 上,同樣是真實框,IoU 配對的 HOTA 只剩 72.8,AssA 53.6。偵測已經完美,瓶頸完全落在關聯上。

最後兩列加入了外觀特徵,所有指標都變差了;「外觀 + IoU + 運動」的 HOTA 甚至比只用 IoU 低了 13 分。在每個人都長得一樣的場景裡,外觀不但幫不上忙,還會把關聯帶偏。

現有追蹤器的表現

原論文 Table 3:九個追蹤器在 MOT17 與 DanceTrack 測試集上的比較,欄位為 HOTA、DetA、AssA、MOTA、IDF1。MOT17 上 HOTA 介於 52.2 到 63.2;DanceTrack 上 HOTA 介於 39.7 到 55.1,AssA 介於 22.6 到 40.2,MOTA 卻都在 79.7 到 92.0 之間,比 MOT17 還高。ByteTrack 在 MOT17 為 63.1 HOTA,在 DanceTrack 為 47.7;QDTrack 在 DanceTrack 為 54.2;MOTR 為 54.2,AssA 40.2 最高;OC-SORT 為 55.1 最高。
原論文 Table 3(Sun 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

作者把當時的主流追蹤器都在 DanceTrack 上重新訓練、測試。

所有方法在 DanceTrack 上的 HOTA、AssA、IDF1 都大幅下降。ByteTrack 在 MOT17 是 63.1,到了 DanceTrack 只剩 47.7;FairMOT 從 59.3 掉到 39.7。

但偵測指標反而變好了。所有方法在 DanceTrack 上的 MOTA 和 DetA 都比在 MOT17 上高,MOTA 普遍在 80 到 90 之間。舞台上的人好偵測,只是認不出誰是誰。

這張表在論文的幾個版本之間有更新過。第三版把 QDTrack 的偵測器換成 YOLOX,以 ByteTrack 的資料擴增和門檻重新訓練,外觀學習的部分則完全沒變,結果 HOTA 54.2,比 ByteTrack 還高。MOTR 的 AssA 40.2 是全表最高,DetA 73.5 卻比多數方法低,關聯強、偵測弱,這個組合後來成了 MOTRv2 的出發點。

關聯方法與運動模型

為了單獨比較關聯,作者固定用 YOLOX 偵測,只換關聯方法:

關聯方法HOTADetAAssAMOTAIDF1
IoU44.779.625.387.336.8
SORT47.874.031.088.248.3
DeepSORT45.870.929.787.146.8
MOTDT39.268.822.584.339.6
BYTE47.170.531.588.251.9
OC-SORT52.179.835.387.351.6

整理自原論文 Table 4,DanceTrack 驗證集,偵測器為 YOLOX。

從這張表可以看到三件事。

  • DeepSORT 比 SORT 差。 DeepSORT 就是 SORT 加上外觀比對,結果 HOTA 從 47.8 降到 45.8。外觀在這裡是負貢獻。
  • MOTDT 最差。 MOTDT 用追蹤結果幫忙補偵測,但 DanceTrack 的偵測本來就很好,這個設計反而讓偵測和關聯都變差。
  • OC-SORT 最好。 它是純運動的方法,專門針對非線性運動改進卡爾曼濾波,HOTA 52.1,AssA 35.3 也是最高。

另一張表比較運動模型。完全不用運動、只用 IoU 時 HOTA 44.7;加上卡爾曼濾波 47.8;換成 LSTM 學出來的運動模型 51.6。在外觀不可靠的時候,運動模型的潛力很大。

加入更多資訊

既然偵測不是問題,作者試著給模型更多框以外的資訊。DanceTrack 只有框的標註,所以他們用 CenterNet 加 BYTE 關聯,搭配其他資料集一起訓練:

  • 分割遮罩: 加入 COCO 的遮罩一起訓練,HOTA 從 36.9 升到 38.1;關聯時再用上遮罩,到 39.2。
  • 人體姿態: 加入 COCO 的姿態一起訓練,HOTA 升到 40.6;關聯時用上姿態,到 41.0。提升比遮罩更多。被遮住大半的時候,框不可靠,關鍵點反而比較穩。
  • 深度: 加入 KITTI 的深度一起訓練,HOTA 反而掉到 34.4。KITTI 主要是車,和舞台差太多。不過以混合訓練的模型為基準,關聯時用上深度,IDF1 還是多了 1.7。

作者的結論是,比框更細的表示(遮罩、姿態)有幫助,深度資訊也有潛力,運動建模很重要。

限制

作者自己點出兩個限制。這篇只提出資料集,沒有提出能大幅領先的新演算法,把問題留給後續研究。另外,資料集只有框的標註,沒有姿態或遮罩,想做更細的研究,得借用其他資料集。

後來

DanceTrack 很快就成了檢驗關聯能力的標準基準。

幾個月後,同為作者的 Jinkun Cao 和 Kris Kitani 發表了 OC-SORT,專門處理非線性運動和遮擋。再往後的 MOTRv2、Deep OC-SORT,也都把 DanceTrack 當成主要的比較舞台。

結論

DanceTrack 沒有提出新的追蹤器,而是找了一個讓現有方法都很難受的場景:大家穿一樣的衣服,跳來跳去。

在這個場景裡,偵測幾乎不是問題,關聯才是。外觀特徵常常幫倒忙,線性運動模型也跟不上舞步。

以往談到追蹤的難度,最常想到的是「擁擠」。DanceTrack 的每段影片平均只有 9 個人,卻比 MOT20 那幾百人的人潮更難追。