返回論文筆記資料庫
arXiv 2020CVPR 2021多目標追蹤論文筆記

QDTrack

負樣本不嫌多

原始論文

Quasi-Dense Similarity Learning for Multiple Object Tracking

論文作者

Jiangmiao Pang · Linlu Qiu · Xia Li …

查看全部 7 位作者

Jiangmiao Pang · Linlu Qiu · Xia Li · Haofeng Chen · Qi Li · Trevor Darrell · Fisher Yu

發表版本
CVPR 2021會議
arXiv 首次提交
arXiv:2006.06664
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingqdtrack2020,
  title = {{Quasi-Dense Similarity Learning for Multiple Object Tracking}},
  author = {Jiangmiao Pang and Linlu Qiu and Xia Li and Haofeng Chen and Qi Li and Trevor Darrell and Fisher Yu},
  year = {2020},
  eprint = {2006.06664},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2006.06664}
}
本頁內容

到了 2020 年,多目標追蹤的關聯主要靠位置。

SORT 用 IoU,CenterTrack 預測中心點位移,Tracktor 讓偵測器的迴歸頭把框推到下一幀。只要偵測夠準,相鄰兩幀之間的位置關係就是很強的線索。外觀特徵通常只在旁邊幫忙,用來找回消失一陣子的目標,而且搜尋範圍還得限制在附近,因為外觀特徵不夠可靠,放大範圍反而容易認錯。

但人類追蹤物體,常常只看長相就夠了。浙江大學的 Jiangmiao Pang、ETH Zürich 的 Fisher Yu、UC Berkeley 的 Trevor Darrell 等人認為,外觀特徵不可靠,是因為訓練的方式太浪費。

定義問題

原論文 Figure 1:四種學習外觀相似度的方式。(a) 與偵測器分開的 re-ID 模型,只用稀疏的真實框做身分分類。(b) 和偵測器共用網路,但同樣用稀疏的身分分類。(c) 共用網路,在兩張影像的真實框之間做三元組損失。(d) 本文的準密集比對:在兩張影像上取出大量候選框,彼此全部配對。
原論文 Figure 1(Pang 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

當時學外觀特徵的方法,大致分成這幾種:

  • 身分分類: 把訓練集裡的每個身分當成一類,例如 DeepSORT 的 re-ID 模型,以及 JDE、FairMOT 加在偵測器上的嵌入分支。資料集越大,類別數越多,越難擴展。
  • 三元組損失: 每個樣本只和一個正樣本、一個負樣本比較。

不管哪一種,訓練樣本都只有真實框,一張影像上可能就十幾個。

可是偵測器在每張影像上會提出幾百個候選區域。靠近真實框的那些,可以當作額外的正樣本;落在背景上的,就是現成的困難負樣本。這些區域原本只用來訓練偵測,學外觀時全被丟掉了。

作者想把這些候選區域全部拿來學外觀。如果特徵空間學得夠好,關聯時就不需要位置、運動、位移預測,只要在特徵空間裡找最近的鄰居就好。

解決問題

準密集取樣

原論文 Figure 2:訓練流程。關鍵幀與參考幀經過共用的骨幹網路與樣本產生器,得到大量準密集樣本(綠色),真實框以橘色表示;共用的嵌入頭為每個樣本抽出特徵,兩幀之間所有樣本兩兩比對,以多正樣本的對比學習訓練。
原論文 Figure 2(Pang 等人),取自 PDF 第 3 頁,arXiv 授權,學術引用。

作者把「稠密比對」定義為在所有像素位置上比對候選框;「準密集」只取可能有物體的資訊區域,也就是 RPN 提出的候選框。

偵測器是標準的 Faster R-CNN 加 FPN,骨幹 ResNet-50。在原本的框分類與框迴歸頭旁邊,平行加了一個輕量的嵌入頭(4 層卷積加 1 層全連接),每個候選框輸出一個 256 維的特徵。

訓練時,每次取一張關鍵幀,再從它前後 3 幀內隨機挑一張參考幀。兩張影像各自跑 RPN,得到候選框:

  • 一個候選框和某個真實物體的 IoU 大於 0.7,就算是那個物體的樣本;IoU 小於 0.3 就算背景。
  • 關鍵幀上的候選框和參考幀上的候選框,若屬於同一個物體,這一對就是正樣本,否則是負樣本。

關鍵幀取 128 個候選框當訓練樣本,參考幀取 256 個當對比目標,正負各半。每個訓練樣本要和參考幀上的全部 256 個目標比較。

多正樣本的對比損失

只有一個正樣本時,可以用標準的 softmax 交叉熵。設 vv 是訓練樣本的特徵,k+k^+ 是正樣本,k−k^- 是負樣本:

Lembed=−log⁡ev⋅k+ev⋅k++∑k−ev⋅k−\mathcal{L}_{embed} = -\log\frac{e^{v\cdot k^+}}{e^{v\cdot k^+} + \sum_{k^-} e^{v\cdot k^-}}

但準密集取樣之後,一個訓練樣本在參考幀上會有好幾個正樣本,同一個物體附近的候選框都算。直接把正樣本加總放進分子,會讓每個負樣本被重複計算好幾次,正樣本卻只算一次。

作者先把上式改寫成

Lembed=log⁡[1+∑k−e v⋅k−−v⋅k+]\mathcal{L}_{embed} = \log\Big[1 + \sum_{k^-} e^{\,v\cdot k^- - v\cdot k^+}\Big]

再把正樣本也一起累加:

Lembed=log⁡[1+∑k+∑k−e v⋅k−−v⋅k+]\mathcal{L}_{embed} = \log\Big[1 + \sum_{k^+}\sum_{k^-} e^{\,v\cdot k^- - v\cdot k^+}\Big]

這樣每一組正負樣本都被公平地比較一次。

另外加一個輔助的 L2 損失,限制特徵的餘弦相似度:

Laux=(v⋅k∥v∥ ∥k∥−c)2\mathcal{L}_{aux} = \left(\frac{v\cdot k}{\|v\|\,\|k\|} - c\right)^2

正樣本對 c=1c = 1,負樣本對 c=0c = 0。作者說明這個損失的作用是約束 logit 的大小和餘弦相似度,並不直接提升效果。

整體損失是

L=Ldet+γ1Lembed+γ2Laux\mathcal{L} = \mathcal{L}_{det} + \gamma_1\mathcal{L}_{embed} + \gamma_2\mathcal{L}_{aux}

其中 γ1=0.25\gamma_1 = 0.25、γ2=1.0\gamma_2 = 1.0。附錄提到 γ1\gamma_1 超過 0.5 時效果會下降。

只靠外觀的關聯

原論文 Figure 3:推論流程。參考幀保留的比對候選包括軌跡(黃色)、暫時消失的軌跡(藍色)和背景框(粉紅色),關鍵幀的偵測(綠色)和它們兩兩計算雙向 softmax。雙向一致時相似度高;新出現的物體或消失的物體不一致,相似度低。右側比較有無背景框的情況:沒有背景框時,一個誤報可能找不到對象而被硬配給別人;保留背景框後,它會配到上一幀的背景框。
原論文 Figure 3(Pang 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。

推論時,關聯完全不用位置。但只靠特徵找最近鄰,碰到一個偵測根本沒有對應的軌跡(新物體、誤報),或是有好幾個看起來都像的候選,就很麻煩。作者用三個設計處理。

雙向 softmax。 當前幀有 NN 個偵測,特徵為 nn;比對候選有 MM 個,特徵為 mm。兩者的相似度取兩個方向 softmax 的平均:

f(i,j)=12[exp⁡(ni⋅mj)∑kexp⁡(ni⋅mk)+exp⁡(ni⋅mj)∑kexp⁡(nk⋅mj)]\begin{aligned} f(i,j) = \frac{1}{2}\Bigg[ & \frac{\exp(n_i\cdot m_j)}{\sum_{k}\exp(n_i\cdot m_k)} \\ & + \frac{\exp(n_i\cdot m_j)}{\sum_{k}\exp(n_k\cdot m_j)}\Bigg] \end{aligned}

第一項問的是「在所有候選裡,偵測 ii 最像誰」,第二項問的是「在所有偵測裡,候選 jj 最像誰」。只有兩邊互為最近鄰時,分數才會高。新出現的物體在候選裡找不到真正的對象,兩個方向的分數很難同時高,自然不會被配上。

保留背景框(backdrops)。 以往的方法會直接丟掉沒配上任何軌跡的偵測。作者認為這些框雖然大多是誤報,但下一幀的誤報很可能長得跟它一樣。把它們保留一幀,當作比對候選,下一幀的誤報就會去配這些背景框,不會被硬塞給真正的軌跡。

跨類別去重。 一般偵測器只在同一類別內做非極大值抑制,同一個位置可能同時出現「行人」和「騎士」兩個框,各自帶著幾乎一樣的特徵。作者在關聯前再做一次跨類別的非極大值抑制,高信心框門檻 0.7,低信心框 0.3。

剩下的都是常見的門檻。偵測信心大於 0.8 才開新軌跡,消失的軌跡保留 10 幀,軌跡特徵用動量 0.8 更新,只有同類別的物體可以互相配對。

討論

哪些設計有用

訓練相似度去重背景框MOTAIDF1行人 MOTA行人 IDF1
稀疏cosine60.463.037.649.7
準密集、單正樣本cosine61.566.840.552.7
準密集、多正樣本cosine62.567.844.054.3
準密集、多正樣本bi-softmax62.970.045.558.8
準密集、多正樣本bi-softmax✓63.270.145.558.3
準密集、多正樣本bi-softmax✓✓63.571.546.760.2

整理自原論文 Table 4,BDD100K 追蹤驗證集。

消融做在 BDD100K 的驗證集上。這是一個行車紀錄器資料集,有 8 個類別,比 MOT17 大得多。

從稀疏改成準密集,IDF1 從 63.0 升到 67.8。其中光是增加負樣本、仍用單正樣本的損失,就貢獻了 3.8 分,約占這段改善的八成。對比目標越多,就算大部分是負樣本,特徵也學得更好。多正樣本的損失再加 1 分。

推論端,雙向 softmax 讓 IDF1 再多 2.2 分,行人類別多了 4.5 分。去重和背景框再加 1.5 分。從頭到尾,IDF1 總共提升了 8.5 分,ID 切換少了 30%。行人這一類最明顯,MOTA 和 IDF1 分別多了 9.1 和 10.5 分。

位置還有沒有用

外觀IoU運動迴歸mMOTAmIDF1
✓26.336.0
✓✓27.738.5
✓✓28.639.3
✓36.650.8
✓✓36.349.8
✓✓✓36.449.9
✓✓✓36.450.1

整理自原論文 Table 5,BDD100K 追蹤驗證集;mMOTA、mIDF1 是 8 個類別的平均。

作者照 Tracktor 的作法,用同一個偵測器加上 IoU、運動模型、框迴歸等位置線索。

沒有外觀特徵時,每多一種位置線索,效果都會提升。但有了準密集學到的外觀特徵之後,再加任何位置線索都沒有幫助,甚至略降。最好的結果就是只用外觀。

外觀特徵學得夠好,就不需要位置線索,這是這篇最核心的主張。不過這是在 BDD100K 上的結果。它的追蹤標註是每秒 5 幀,相機又裝在行進中的車上,相鄰兩個標註幀之間,物體的位置和大小都可能變很多,位置線索本來就沒那麼可靠。

各個基準

QDTrack 在四個基準上都報告了結果,除了 COCO 預訓練以外,沒有用額外的訓練資料。

  • MOT17(私有偵測): MOTA 68.7、IDF1 66.3,每秒 20.3 幀。比當時的 CenterTrack 高 0.9 和 1.6 分,而 CenterTrack 還用了額外資料。ID 切換 3,378 比 CenterTrack 的 3,039 多,作者的解釋是它的召回率比較高,FN 少了 1.4 萬個,追到的軌跡越多,換 ID 的機會也越多。
  • BDD100K: 測試集 mMOTA 35.5、mIDF1 52.3,比官方基準高出 9.2 和 7.6 分,也贏過 2020 年 BDD100K 追蹤挑戰的冠軍。
  • Waymo: 驗證集的車輛類別 MOTA 55.6,比 RetinaTrack 高 10.7 分。換上 ResNet-101 和可變形卷積後,測試集上的成績和 2020 年 Waymo 2D 追蹤挑戰的冠軍相當,而它只是一個單一模型。
  • TAO: 這個資料集有數百個類別,長尾分布很嚴重。整體 AP50 只比基準高 2 到 3 分,但行人這個常見類別是 38.6 對 18.5。

瓶頸在偵測

附錄裡的兩個 oracle 實驗很有參考價值。

把偵測換成真實框,再用 QDTrack 的特徵去關聯,8 個類別的平均 IDF1 是 88.8,比原本高了 38 分。反過來,偵測維持原樣、改用真實的追蹤標籤去關聯,mIDF1 只多 4.3 分。

也就是說,在 BDD100K 上,QDTrack 的關聯已經很接近上限,大部分的誤差來自偵測。失敗案例也是如此。漏掉的大多是很小或被擠住的物體,誤報是鏡子或廣告看板裡的人。還有一種情況是類別跳動,例如腳踏車被遮住時,「騎士」被偵測成「行人」,QDTrack 只允許同類別配對,ID 就斷了。

後來

「只用外觀就夠」這個結論,後來在 MOT17 上被重新檢驗過。ByteTrack 在 MOT17 的半驗證集上,在 QDTrack 的 re-ID 相似度上加入卡爾曼濾波的運動線索,再套上自己的 BYTE 關聯。MOTA 從 67.3 變成 67.7,IDF1 從 67.8 升到 72.0,ID 切換從 377 降到 281。行人在監視畫面裡走得慢又規律,運動線索在這裡還是很有用。

DanceTrack 則是另一個極端。那裡的舞者穿著相似,外觀很難區分,DanceTrack 的作者在自己的關聯實驗裡也發現,直接加上外觀比對反而會變差。但在同一篇論文裡,換上 YOLOX 偵測器重新訓練的 QDTrack,HOTA 拿到 54.2,比 ByteTrack 的 47.7 還高,關聯準確度 AssA 也是 36.8 對 32.1。準密集學出來的特徵,在外觀幾乎一樣的場景裡,還是分得出一些差別。

結論

QDTrack 換掉的是學外觀特徵的取樣方式。原本只用十幾個真實框,現在把幾百個候選框全部拿來互相比較,再配上一個公平處理多個正樣本的對比損失。

推論時只剩外觀,加上雙向 softmax、保留一幀的背景框、跨類別去重這幾條簡單規則。沒有卡爾曼濾波,沒有 IoU,在 BDD100K 上加了位置線索反而略差。

背景框那一招特別有意思。大部分追蹤器都在想辦法把誤報丟掉,QDTrack 卻把它們留下來,讓下一幀的誤報有個地方可以去。