返回論文筆記資料庫
arXiv 2020IJCV 2021多目標追蹤論文筆記

HOTA

各打五十大板

原始論文

HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking

論文作者

Jonathon Luiten · Aljosa Osep · Patrick Dendorfer …

查看全部 7 位作者

Jonathon Luiten · Aljosa Osep · Patrick Dendorfer · Philip Torr · Andreas Geiger · Laura Leal-Taixe · Bastian Leibe

arXiv 首次提交
arXiv:2009.07736
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackinghota2020,
  title = {{HOTA: A Higher Order Metric for Evaluating Multi-Object Tracking}},
  author = {Jonathon Luiten and Aljosa Osep and Patrick Dendorfer and Philip Torr and Andreas Geiger and Laura Leal-Taixe and Bastian Leibe},
  year = {2020},
  eprint = {2009.07736},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2009.07736}
}
本頁內容

讀了幾篇追蹤論文,你大概已經對 MOTA 這個數字很熟了。SORT 用它,DeepSORT 用它,Tracktor 和 FairMOT 的主表第一欄也是它。

但我們在 DeepSORT 那篇看過,ID 切換少了 45%,MOTA 只多了 1.6 分。FairMOT 也做過一個實驗:只訓練偵測、re-ID 特徵幾乎是隨機的模型,MOTA 居然比兩個任務一起訓練的還高。

一個號稱衡量「追蹤」的指標,好像對「追得對不對人」不太敏感。

這篇論文來自 RWTH Aachen、慕尼黑工業大學、牛津和圖賓根,作者群裡有 MOTChallenge 的維護者,也有 KITTI 的建立者 Andreas Geiger。他們把 MOTA、IDF1 和 Track-mAP 逐一拆開檢查,然後提出新的指標 HOTA(Higher Order Tracking Accuracy)。這篇論文影響之大,看看後面幾篇筆記的主表就知道:HOTA 成了 ByteTrack、OC-SORT 這一代論文的主要指標。

定義問題

多目標追蹤要做對三件事:

  1. 偵測:每一幀找到該找的物體,不多也不少。
  2. 定位:框要準。
  3. 關聯:同一個物體在不同時間要拿到同一個 ID,不同物體不能共用 ID。

一個好的指標應該同時反映這三件事,而且讓它們的權重合理。作者先檢查當時最常用的兩個指標。

MOTA

MOTA 在每一幀把預測框和真實框做一對一配對(IoU 至少 0.5),配上的是真陽性(TP),多出來的預測是誤報(FP),沒配到的真實框是漏檢(FN)。關聯錯誤則用 ID 切換(IDSW)計算:某個真實物體這一次配到的預測 ID,和它上一次配到的不同,就記一次。

MOTA=1−∣FN∣+∣FP∣+∣IDSW∣∣gtDet∣\text{MOTA} = 1 - \frac{|\text{FN}| + |\text{FP}| + |\text{IDSW}|}{|\text{gtDet}|}

分母是所有真實框的數量。

IDF1

IDF1 不在每一幀配對,而是把整條預測軌跡和整條真實軌跡做一對一配對,挑出讓重疊最多的組合。配上的軌跡在重疊的部分算 IDTP,其他所有的真實框算 IDFN,其他所有的預測框算 IDFP:

IDF1=∣IDTP∣∣IDTP∣+0.5 ∣IDFN∣+0.5 ∣IDFP∣\text{IDF1} = \frac{|\text{IDTP}|}{|\text{IDTP}| + 0.5\,|\text{IDFN}| + 0.5\,|\text{IDFP}|}

同一個人,兩種追法

我們用原論文第一張圖的例子算一次。

原論文 Fig. 1:一條長度 100 幀的真實軌跡(粗黑線),以及三個追蹤器的輸出。A 只追到前 50 幀,用同一個 ID;B 有兩段各 35 幀的軌跡;C 追滿 100 幀,但切成四段各 25 幀、四個不同的 ID。右側分數:A 的 DetA、MOTA、HOTA、IDF1、AssA 為 50%、50%、50%、67%、50%;B 為 70%、69%、50%、52%、35%;C 為 100%、97%、50%、25%、25%。下方箭頭標示 MOTA 越來越偏向衡量偵測,IDF1 越來越偏向衡量關聯。
原論文 Fig. 1(Luiten 等人),取自 PDF 第 1 頁,arXiv 授權,學術引用。

畫面裡只有一個人,出現 100 幀。看 A 和 C 這兩個追蹤器:

  • A 追到前 50 幀,從頭到尾同一個 ID,後 50 幀完全沒追到。
  • C 每一幀都追到了,但每 25 幀就換一次 ID,總共四個 ID。

哪一個比較好?

先算 MOTA。A 有 50 個漏檢,沒有誤報,沒有 ID 切換,1−50/100=50%1 - 50/100 = 50\%。C 沒有漏檢、沒有誤報,ID 切換 3 次,1−3/100=97%1 - 3/100 = 97\%。

MOTA 認為 C 好得多。換了三次 ID,只扣 3 分。

再算 IDF1。A 的唯一一條軌跡配上真實軌跡,IDTP = 50,IDFN = 50,IDFP = 0,IDF1 = 50/(50+25)=67%50 / (50 + 25) = 67\%。C 只能挑一段 25 幀的軌跡配對,IDTP = 25,其他 75 個真實框都是 IDFN,另外三段軌跡的 75 個預測框都是 IDFP,IDF1 = 25/(25+37.5+37.5)=25%25 / (25 + 37.5 + 37.5) = 25\%。

IDF1 認為 A 好得多。C 每一幀都追到了,這件事幾乎沒有被計入。

兩個指標各站一邊,而且都站得很極端。

解決問題

HOTA 的目標是在一個分數裡,公平地衡量偵測、關聯和定位,同時可以拆開來,看出錯誤來自哪裡。

先像 MOTA 一樣,在每一幀配對

HOTA 的配對和 MOTA 一樣,在每一幀把預測框和真實框做一對一配對,定位相似度 SS(例如 IoU)至少要達到門檻 α\alpha。配上的是 TP,剩下的是 FP 和 FN。

偵測的分數就是標準的 Jaccard 指數:

DetAα=∣TP∣∣TP∣+∣FN∣+∣FP∣\text{DetA}_\alpha = \frac{|\text{TP}|}{|\text{TP}| + |\text{FN}| + |\text{FP}|}

再對每一個 TP,問它的軌跡對得多準

關聯的部分是這篇論文的新東西。對每一個配上的 TP,記為 cc,作者定義了三個集合:

原論文 Fig. 2:以一個 TP(紅框圈起的配對 c)為中心,說明 TPA、FPA、FNA。深藍色大圓是 c 所屬的真實軌跡,黑色小點是 c 所屬的預測軌跡。綠色虛線框是 TPA,也就是真實 ID 與預測 ID 都和 c 相同的配對,共五個;黃色虛線框是 FPA,預測 ID 和 c 相同、但真實 ID 不同或根本沒有對應物體的預測,共四個;橘紅色虛線框是 FNA,真實 ID 和 c 相同、但被給了別的預測 ID 或沒被偵測到的真實框,共三個。
原論文 Fig. 2(Luiten 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。
  • TPA(True Positive Associations): 和 cc 有相同真實 ID、也有相同預測 ID 的 TP。也就是「同一個人、被追蹤器當成同一個人」的時刻。
  • FNA(False Negative Associations): 和 cc 有相同真實 ID,但被給了別的預測 ID、或根本沒被偵測到的真實框。同一個人,追蹤器卻沒認出來。
  • FPA(False Positive Associations): 和 cc 有相同預測 ID,但其實屬於別人、或根本不對應任何物體的預測框。追蹤器以為是同一個人,其實不是。

圖中的 cc 有五個 TPA、四個 FPA、三個 FNA。它的關聯分數,又是一個 Jaccard 指數:

A(c)=∣TPA(c)∣∣TPA(c)∣+∣FNA(c)∣+∣FPA(c)∣\mathcal{A}(c) = \frac{|\text{TPA}(c)|}{|\text{TPA}(c)| + |\text{FNA}(c)| + |\text{FPA}(c)|}

代入圖中的數字:

A(c)=55+3+4≈0.42\mathcal{A}(c) = \frac{5}{5 + 3 + 4} \approx 0.42

把所有 TP 的關聯分數平均起來,就是關聯準確度:

AssAα=1∣TP∣∑c∈TPA(c)\text{AssA}_\alpha = \frac{1}{|\text{TP}|}\sum_{c \in \text{TP}} \mathcal{A}(c)

兩個分數,取幾何平均

HOTAα=∑c∈TPA(c)∣TP∣+∣FN∣+∣FP∣=DetAα⋅AssAα\begin{aligned} \text{HOTA}_\alpha &= \sqrt{\frac{\sum_{c \in \text{TP}} \mathcal{A}(c)}{|\text{TP}| + |\text{FN}| + |\text{FP}|}} \\ &= \sqrt{\text{DetA}_\alpha \cdot \text{AssA}_\alpha} \end{aligned}

作者稱這是「雙重 Jaccard」。外層是偵測的 Jaccard,但分子裡每個 TP 不是算 1,而是乘上自己的關聯分數。

回到剛才的例子。

A 的 DetA 是 50/(50+50+0)=50%50 / (50 + 50 + 0) = 50\%。每一個 TP 的 TPA 都是 50,FNA 是後面沒追到的 50 個真實框,FPA 是 0,關聯分數都是 50/10050/100,AssA 也是 50%。HOTA =0.5×0.5=50%= \sqrt{0.5 \times 0.5} = 50\%。

C 的 DetA 是 100%。每一個 TP 所在的那段軌跡只有 25 幀,TPA 是 25,同一個人的其他 75 幀被給了別的 ID,都是 FNA,關聯分數都是 25%,AssA 也是 25%。HOTA =1×0.25=50%= \sqrt{1 \times 0.25} = 50\%。

兩個追蹤器打平。A 只追到一半但認得很準,C 全追到了但一直換 ID。HOTA 不偏袒任何一邊,各打五十大板。

最後,把定位也算進去

上面的計算都在固定的定位門檻 α\alpha 下進行。為了把框準不準也算進來,HOTA 在 α=0.05,0.10,…,0.95\alpha = 0.05, 0.10, \ldots, 0.95 這 19 個門檻下各算一次,再取平均:

HOTA=∫01HOTAα dα≈119∑α∈{0.05,…,0.95}HOTAα\begin{aligned} \text{HOTA} &= \int_0^1 \text{HOTA}_\alpha \, d\alpha \\ &\approx \frac{1}{19}\sum_{\alpha \in \{0.05, \ldots, 0.95\}} \text{HOTA}_\alpha \end{aligned}

每個門檻都要重新做一次配對。框越準,在高門檻下還能配上的 TP 就越多,最後的分數也越高。

作者特別提醒,DetA 和 AssA 要在每個 α\alpha 下先合成 HOTAα\text{HOTA}_\alpha,再對 α\alpha 平均,順序不能倒過來。所以論文表格裡的 HOTA,一般不會剛好等於表格裡 DetA 和 AssA 的幾何平均。

拆開來看

HOTA 可以一路拆成五個子指標,各自對應一種錯誤:

  • DetRe =∣TP∣/(∣TP∣+∣FN∣)= |\text{TP}| / (|\text{TP}| + |\text{FN}|):漏檢。
  • DetPr =∣TP∣/(∣TP∣+∣FP∣)= |\text{TP}| / (|\text{TP}| + |\text{FP}|):誤報。
  • AssRe:把 A(c)\mathcal{A}(c) 中的 FPA 拿掉後的平均。一個人被切成好幾段軌跡,AssRe 就低。
  • AssPr:把 A(c)\mathcal{A}(c) 中的 FNA 拿掉後的平均。一條軌跡跨到好幾個人身上,AssPr 就低。
  • LocA:所有 TP 的平均定位相似度,同樣對各個 α\alpha 取平均。

這組拆解讓使用者可以依應用挑重點。作者舉例,人體動作分析、人群分析或運動賽事分析在乎身分有沒有一路追對,AssRe 和 AssPr 比較重要;駕駛輔助系統必須找到每一個行人,也不能因為不存在的人緊急閃避,DetRe 和 DetPr 比較重要;監視場景則通常寧可多報、不可漏報。

原論文 Fig. 16:在 MOT17 的所有已發表追蹤器上,把 MOTA、IDF1、HOTA 分別對 DetA(上排)和 AssA(下排)作圖,每格左上角是決定係數 R²。MOTA 對 DetA 為 0.96、對 AssA 為 0.46;IDF1 對 DetA 為 0.58、對 AssA 為 0.97;HOTA 對 DetA 為 0.67、對 AssA 為 0.94。
原論文 Fig. 16(Luiten 等人),取自 PDF 第 23 頁,arXiv 授權,學術引用。

這張圖把三個指標放在 MOT17 上,和 DetA、AssA 對照。MOTA 幾乎只跟著偵測走(R2=0.96R^2 = 0.96),和關聯的關係很弱(0.46);IDF1 正好相反(0.58 和 0.97);HOTA 和兩者都有明顯的關係(0.67 和 0.94)。

HOTA 和 AssA 的關係比較強,並不是因為關聯的權重比較大,兩者的權重是相等的。原因在於這些追蹤器用的都是同一組公用偵測,偵測分數差不多,彼此的差距主要來自關聯。

討論

MOTA 的九個問題

作者列了 MOTA 的九個問題。幾個最有說服力的如下:

  1. 偵測的影響遠大於關聯。 在 2020 年 4 月 1 日 MOT17 排行榜前十名中,FN + FP 和 IDSW 的數量比介於 42.3 到 186.4,平均 98.6。作者另外拿 175 個追蹤器做線性迴歸:只看偵測的 MODA(MOTA 去掉 IDSW 那一項)可以解釋 MOTA 99.4% 的變異,IDSW 只能解釋 23.7%。
  2. 精確率的影響遠大於召回率。 拿掉 IDSW 之後,MOTA 可以改寫成 DetRe⋅(2−1/DetPr)\text{DetRe} \cdot (2 - 1/\text{DetPr}):對召回率是線性的,對精確率卻是雙曲線。精確率差一點,分數掉得比召回率差一點多很多。這會鼓勵大家調高偵測門檻,寧可漏報,不要誤報。
  3. IDSW 只看前一步。 一次 ID 切換,只檢查這一次的 ID 和上一次是否相同,看不到整條軌跡的對齊程度。追蹤器犯錯後自己改回來,MOTA 會把「改回來」也算成一次 IDSW,等於罰了兩次。
  4. 不罰 ID 轉移。 一條預測軌跡從 A 跳到 B 身上,只要 A 和 B 各自沒有換 ID,就不算 IDSW。論文的例子是一段只有兩幀的影片:一個人被切成兩條軌跡,MOTA 是 0.5;兩個不同的人被併成一條軌跡,MOTA 是滿分 1.0。
  5. 和幀率有關。 同一段 2.5 秒的軌跡,中間換一次 ID。用 40 FPS 評估,分母有 100 個框,MOTA 是 0.99;用 4 FPS 評估,分母只有 10 個框,MOTA 是 0.90。HOTA 兩者都是 1×0.5≈0.707\sqrt{1 \times 0.5} \approx 0.707。
  6. 沒有下限。 誤報可以無限增加,MOTA 可以一路跌到負無限大。看到一個負的 MOTA,很難說清楚它代表什麼。

IDF1 的問題

IDF1 原本是為多相機追蹤設計的。它的核心問題在於只允許一組最佳的軌跡配對。沒被選中的軌跡,不管它追得多好,裡面的每一個正確偵測都算成 IDFP,反而讓分數下降。所以 IDF1 對偵測不是單調的:偵測做得更好,分數可能變差。

這也解釋了為什麼許多新的基準仍然選擇 MOTA。偵測是追蹤很重要的一部分,而 IDF1 衡量不好它。

為什麼是 Jaccard、為什麼要開根號

論文第 7 節檢查了好幾個設計選擇。

  • Jaccard 而不是 F1 或 MODA。 作者用一個例子證明,只有 Jaccard 形式能保證單調性:多一個正確偵測,分數一定上升;把預測和真實互換,結果也一樣。F1 在某些長度比例下會把較差的結果排得比較高,MODA 則不對稱。
  • 開根號的三個作用。 一是讓 HOTA 的數值範圍接近大家熟悉的 MOTA 與 IDF1;二是讓 HOTA 成為偵測與關聯的幾何平均,任何一邊趨近於零,總分就趨近於零;三是抵銷重複計算。關聯分數裡本來就包含了配上軌跡中的 FN 和 FP,若不開根號,這些錯誤會被罰兩次。只有一個物體的單目標追蹤情況下,DetA 和 AssA 會完全相同,開根號後 HOTA 剛好等於一個 Jaccard 指數。
  • DetA 不能省。 沒有配上任何軌跡的 FN 和 FP 不會出現在 AssA 裡,需要 DetA 來懲罰;而且只看 AssA 不是單調的:加進一個關聯很差的 TP,平均值會下降。

人怎麼看

最後,作者做了一個使用者研究。他們把 MOT17 的七段測試影片切成 36 段 6 秒的片段,挑出兩個指標意見相反的追蹤器配對,讓受試者看兩段追蹤結果,選出比較好的那個。

共有 230 人參與,其中 62 人是多目標追蹤研究者,122 人是電腦視覺研究者,總計比較了 2075 組,平均每組花 2 分 13 秒。

不計兩者打平的票,HOTA 對上 MOTA 時,受試者有 61.6% 站在 HOTA 這邊;HOTA 對上 IDF1 時,比例是 72.0%;MOTA 對上 IDF1 則大約五五波。只看多目標追蹤研究者,HOTA 對 MOTA 的勝率升到 79.3%,對 IDF1 升到 85.9%。

後來

HOTA 很快被採用。KITTI 的追蹤排行榜在 2021 年 2 月改以 HOTA 排名,評估程式來自作者維護的 TrackEval;DanceTrack 等新基準也以 HOTA 為主要指標。後面讀到的 ByteTrack、OC-SORT、StrongSORT、BoT-SORT,主表都把 HOTA、MOTA、IDF1 並列。

也有人覺得 HOTA 還不是最終答案。2021 年,Google Research 的 Jack Valmadre 和 Alex Bewley(對,就是 SORT 的作者)等人提出時間上局部的追蹤指標 ALTA。他們認為,很多應用能容忍一定程度的關聯錯誤,偵測與關聯的相對重要性應該可以調整,於是用時間窗的長度當作調整的旋鈕。HOTA 把兩者固定成五五開,是一種選擇,但不是唯一的選擇。

結論

每一幀先配對,每一個配上的框再用整條軌跡衡量關聯有多準,最後把偵測和關聯取幾何平均,並對 19 個定位門檻平均,這就是 HOTA。它能拆成偵測召回、偵測精確、關聯召回、關聯精確和定位五個子指標。

之後讀追蹤論文的表格,別只看 HOTA 一欄,順手看一下 DetA 和 AssA。一個方法的 HOTA 進步了,到底是偵測器換好了,還是關聯真的變強了,這兩欄一眼就看得出來。

MOTA 說換三次 ID 只要扣三分,IDF1 說全程追到也不算什麼。

HOTA 說,你們兩個都對,也都不對。