返回論文筆記資料庫
EURASIP JIVP 2008多目標追蹤論文筆記

CLEAR MOT

萬惡之源?

原始論文

Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics

論文作者

Keni Bernardin · Rainer Stiefelhagen

引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@article{multiobjecttrackingclearmot2008,
  title = {{Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics}},
  author = {Keni Bernardin and Rainer Stiefelhagen},
  year = {2008},
  journal = {EURASIP Journal on Image and Video Processing},
  url = {https://doi.org/10.1155/2008/246309},
  doi = {10.1155/2008/246309}
}
本頁內容

追蹤論文的主表,第一欄幾乎都是 MOTA。

SORT、DeepSORT、FairMOT 都靠它排名次。到了 HOTA 那篇,它被拆開來批評:換了三次 ID 只扣 3 分,分數幾乎都被偵測吃掉。

既然問題這麼多,當初為什麼會設計成這樣?

這次回到源頭。2008 年,德國卡爾斯魯厄大學的 Keni Bernardin 和 Rainer Stiefelhagen 提出 MOTA 和 MOTP 兩個指標,論文標題裡的 CLEAR,是 2006 和 2007 年兩屆國際評測的名字。

有趣的是,當時要評測的對象跟我們熟悉的行人追蹤很不一樣。主要的任務是在研討會教室裡,用好幾台相機估計每個人站在地板上的哪個位置,單位是公分;另外還有臉部追蹤、街景的行人和車輛,甚至有用麥克風陣列找出誰在說話的聲音追蹤。MOTA 的很多設計,是被這些任務逼出來的。

定義問題

單一物體的追蹤很好評估,量一量每一幀的位置誤差就行了。多個物體就麻煩了:追蹤器輸出的軌跡數量可能比真實物體多,也可能少,軌跡之間還會換來換去。

當時並不缺指標,缺的是共識。作者整理了幾套既有的評估方式:

  • Li 等人為多相機的足球員追蹤設計了三個量測,其中兩個只適用足球,比較通用的那一個,又沒有考慮誤報的軌跡和定位誤差。
  • ETISEO 專案提出了 8 個指標,彼此依賴,很多指標要搭配另外一兩個才能解讀。
  • Smith 等人最接近這篇的想法,但用了 9 個量測:5 個衡量物體組態的錯誤,4 個衡量標記不一致。有些量測還分別對追蹤器和物體各定義一次,例如 MT/MO、FIT/FIO。

指標太多,一次大型評測有幾十個系統要比較,讀者根本看不出誰好誰壞。結果就是很多論文乾脆不做量化評估,或是各自發明一套。

作者先描述理想的多目標追蹤器:每一個時刻都找到正確數量的物體,位置估得盡量準,每個物體從頭到尾只有一個不變的 ID,被短暫遮住後回來也一樣。輪廓、方向、速度這些不在考慮範圍內。

由此訂出指標的要求:

  1. 能判斷位置估得多準。
  2. 能反映追蹤器有沒有一致地追住每一個物體,一個物體剛好一條軌跡。
  3. 可調的參數和門檻越少越好。
  4. 直覺,多種錯誤同時出現、或錯誤在時間上分布不均的時候,數字還是合理。
  5. 通用,2D、3D、只估中心點的、會估框的追蹤器都能比。
  6. 數量少,但說得夠多。

前兩點是目標,後面四點是限制。真正難的地方在於「怎麼數錯誤」。舉一個問題讓你先想想:一個追蹤器在一段影片裡,把同一個人換了一次 ID,這算幾次錯?

解決問題

整套評估在每一幀做三件事:

  1. 在追蹤器輸出的假設 {h1,…,hm}\{h_1, \ldots, h_m\} 和真實物體 {o1,…,on}\{o_1, \ldots, o_n\} 之間,找出最好的對應。
  2. 對每一組對應,算出位置的誤差。
  3. 累計三種錯誤:沒有任何假設對上的物體算漏檢(miss);沒有對應任何真實物體的假設算誤報(false positive);物體這一次對上的假設和之前不同,算一次錯配(mismatch)。

最後只用兩個數字表達追蹤器的表現:位置估得多準,以及總共犯了多少錯。

這套流程的細節,幾乎都在第一步。

太遠就不算

最直覺的作法是把每個物體配給最近的假設,剩下的物體算漏檢、剩下的假設算誤報。第一個要處理的情況是,最近的假設也離得很遠。

原論文 Figure 2(a):三個時間點的同一個物體 o1(黃色區域)與追蹤器的假設 h1(虛線區域)。在 t 和 t+1,h1 和 o1 有重疊,算一組對應;到了 t+2,h1 飄到上方,兩者距離超過門檻 T,h1 被標成誤報,o1 被標成漏檢。
原論文 Figure 2(a)(Bernardin 與 Stiefelhagen),取自 PDF 第 4 頁,CC BY 2.0。

圖中的 h1h_1 在第三幀飄到了上方。它還在追 o1o_1 嗎?作者認為,距離大到某個程度,就不能再說是「位置估得不準」,而是追蹤器已經丟了這個物體、在追別的東西。所以只有距離 disti,j<T\text{dist}_{i,j} < T 的對應才算有效;超過門檻,物體算一次漏檢,假設算一次誤報。

門檻 TT 怎麼定,取決於任務和距離的算法。會估框的追蹤器可以用重疊程度,門檻設成「完全沒有重疊」;只估中心點的追蹤器用歐氏距離,門檻可以是一個人的平均寬度,單位是像素或公分。作者明說,TT 沒辦法對所有情況給一個通用值,用資料自動決定的方法這篇也沒有研究。

換了人,算幾次錯?

再來是時間上的一致性。

原論文 Figure 2(b):三個物體 o1(藍色圓形)、o2(紅色三角形)、o3(綠色方形)和三個假設 h1、h2、h3 在 8 個時間點的對應。t+3 時 o1 和 o2 交錯,之後 h1 跟著 o2、h2 跟著 o1;t+5 時 o1 和 o3 交錯,之後 h2 跟著 o3、h3 跟著 o1。兩處交錯以橘色橢圓標示為 Mismatch。
原論文 Figure 2(b)(Bernardin 與 Stiefelhagen),取自 PDF 第 4 頁,CC BY 2.0。

一開始,h1h_1、h2h_2、h3h_3 各自追著 o1o_1、o2o_2、o3o_3。到了 t+3t+3,藍色的 o1o_1 和紅色的 o2o_2 走到一起,分開之後,h1h_1 跟上了 o2o_2,h2h_2 跟上了 o1o_1。到了 t+5t+5,o1o_1 又和綠色的 o3o_3 交錯,這次換成 h2h_2 跟上 o3o_3、h3h_3 跟上 o1o_1。

這種錯誤要怎麼數?

一種想法是先替每個物體決定一個「最佳」的假設,例如第一次配上的、或整段影片裡配得最多次的那個,然後把所有違反這組配對的幀都算成錯誤。作者用下一張圖說明這種作法的問題。

原論文 Figure 2(c):同一個物體 o1 在 9 個時間點的兩種情況。Case 1:h1 只追了開頭兩幀,從 t+2 起由 h2 接手到最後。Case 2:h1 追到 t+3,從 t+4 起由 h2 接手到最後。
原論文 Figure 2(c)(Bernardin 與 Stiefelhagen),取自 PDF 第 4 頁,CC BY 2.0。

兩種情況都只換了一次假設,犯的是同一種錯。但 h2h_2 在兩種情況裡都是配得最多次的假設,用「最佳配對」去數,Case 1 只有開頭 2 幀違反,算 2 個錯;Case 2 前 4 幀都違反,算 4 個錯。錯誤的多寡,取決於交換發生得早還是晚。

作者改成只在對應改變的那一幀算一次錯配,中間的段落都算對。換了一次,就是一次。

照這個規則回頭數 Figure 2(b)。t+3t+3 那次交錯,o1o_1 和 o2o_2 各自換了假設,算兩次;t+5t+5 那次,o1o_1 和 o3o_3 各換一次,又是兩次,一共四次錯配。之後 h1h_1 一路跟著 o2o_2 到最後,不會因為「跟錯人」而每一幀都扣分。

記住之前配過誰

要知道「對應改變了」,就得記住之前的對應。作者維護一張對應表 MtM_t,記錄到時間 tt 為止的所有配對,一開始是空的 M0={⋅}M_0 = \{\cdot\}。如果在 t+1t+1 時,oio_i 配上了 hkh_k,和表上的 (oi,hj)(o_i, h_j) 矛盾,就算一次錯配,並把表上的配對換成 (oi,hk)(o_i, h_k)。

這張表還有第二個用途:有好幾個有效選擇時,用來決定要配給誰。

原論文 Figure 2(d):物體 o1 在三個時間點的情況。t 時 h1 追著 o1;t+1 時沒有任何假設,o1 算漏檢;t+2 時出現兩個距離都在門檻內的假設,h2 比 h1 更靠近 o1,但仍選擇 h1,h2 被標成誤報。
原論文 Figure 2(d)(Bernardin 與 Stiefelhagen),取自 PDF 第 4 頁,CC BY 2.0。

h1h_1 在 t+1t+1 跟丟了,t+2t+2 又回來,同時旁邊多了一個更近的 h2h_2。如果只看距離,應該配 h2h_2;但表上記著 (o1,h1)(o_1, h_1),作者優先沿用這組配對,因為它最可能才是正確的軌跡。h2h_2 算誤報,它可能是追蹤器對同一個人多輸出了一個假設,也可能是原本在追別人的假設剛好飄了過來。

完整的配對流程

把上面的設計合起來,每一幀的程序是:

  1. 先沿用舊的對應。 對表上 Mt−1M_{t-1} 的每一組 (oi,hj)(o_i, h_j),如果物體還在、假設還在、距離沒超過 TT,這一幀就直接配上。
  2. 剩下的再重新配。 還沒配上的物體和假設,在一對一、距離不超過 TT 的限制下,找出總距離最小的配對。這是一個最小權重指派問題,用 Munkres 演算法(也就是匈牙利演算法)解。若新配對和 Mt−1M_{t-1} 矛盾,就更新表格,並記一次錯配;這一幀的錯配數記為 mmetmme_t。
  3. 算距離。 這一幀總共配上 ctc_t 組,每組算出物體 oio_i 和假設之間的距離 dtid_t^i。
  4. 剩下的算錯。 沒配上的假設都算誤報,數量 fptfp_t;沒配上的物體都算漏檢,數量 mtm_t。這一幀的真實物體數記為 gtg_t。
  5. 進到下一幀。第一幀的表是空的,所有配對都是新的,不會有錯配。

第一步是整個流程的重點。舊的配對只要還有效,就不交給匈牙利演算法重新決定,即使重新配可以讓總距離更小。這樣,追蹤器一致地追住同一個物體,就會在評估裡得到回報。

兩個指標

有了每一幀的計數,第一個指標是多目標追蹤精度(MOTP):

MOTP=∑i,tdti∑tct\text{MOTP} = \frac{\sum_{i,t} d_t^i}{\sum_t c_t}

所有配上的對應,平均的位置誤差。它只回答「配上的時候,位置估得多準」,和追蹤器有沒有找對物體數量、有沒有換 ID 無關。用歐氏距離時越小越好,用框的重疊程度時則越大越好。

第二個指標是多目標追蹤準確度(MOTA):

MOTA=1−∑t(mt+fpt+mmet)∑tgt\text{MOTA} = 1 - \frac{\sum_t \left(m_t + fp_t + mme_t\right)}{\sum_t g_t}

分子是所有幀的漏檢、誤報、錯配加總,分母是所有幀的真實物體數。拆開來看,就是三個錯誤率相加:

m‾=∑tmt∑tgtfp‾=∑tfpt∑tgtmme‾=∑tmmet∑tgt\begin{aligned} \overline{m} &= \frac{\sum_t m_t}{\sum_t g_t} \\ \overline{fp} &= \frac{\sum_t fp_t}{\sum_t g_t} \\ \overline{mme} &= \frac{\sum_t mme_t}{\sum_t g_t} \end{aligned}

MOTA 就是 1 減掉總錯誤率。作者把它比作語音辨識的詞錯誤率(WER):把該有的、多出來的、認錯的全部加起來,除以標準答案的長度。

詞錯誤率可以超過 100%,MOTA 自然也可以是負的。誤報很多的時候,分子可以比分母還大。

先加總,再除

公式裡的加總放在分子和分母各自裡面,而不是先算每一幀的比率再平均。這個順序是刻意的。

原論文 Figure 3:8 幀的例子。前 4 幀有 o1 到 o4 四個物體,全部沒有被追到,標為 Misses;後 4 幀只剩 o4,被 h1 一路追著。
原論文 Figure 3(Bernardin 與 Stiefelhagen),取自 PDF 第 5 頁,CC BY 2.0。

我們用這張圖算一次漏檢率。

前 4 幀,4 個物體都沒追到,每一幀的漏檢率是 100%;後 4 幀只剩一個物體,而且追到了,漏檢率是 0%。先算每一幀的比率再平均:

18(4×100%+4×0%)=50%\frac{1}{8}\left(4 \times 100\% + 4 \times 0\%\right) = 50\%

先把錯誤加總再除:前 4 幀共漏了 16 個,全部 8 幀共有 16+4=2016 + 4 = 20 個物體,漏檢率是 16/20=80%16 / 20 = 80\%。

這個追蹤器明明漏掉了大部分的物體,逐幀平均卻說它漏了一半。作者指出,Smith 等人的誤報和漏檢量測就是用逐幀平均,所以會出現這種反直覺的結果。

在 CLEAR 評測裡實際用起來

CLEAR 的全名是 Classification of Events, Activities and Relationships,由歐盟的 CHIL 專案、美國的 VACE 專案和美國國家標準暨技術研究院(NIST)合辦,2007 年 AMI 專案也加入。2006 年的評測還有一些任務用其他指標;到了 2007 年,所有和追蹤有關的任務,不論單一或多個物體、不論影像或聲音,都用 MOT 指標評估。

不同任務只改距離的算法和門檻:

  • 3D 視覺人物追蹤: 研討會和會議的場景,用多台相機估計每個人在地板上的位置。距離是地板上的歐氏距離,門檻 50 公分。2D 影像追蹤常見的軌跡合併、分裂,在這種多相機的 3D 情境裡沒什麼意義,反而要小心區分定位誤差、誤報和配錯人。作者說,這個任務主導了 MOT 指標大部分的設計。
  • 2D 臉部追蹤: 估計每個視角裡臉的位置和範圍,距離改用框的重疊,門檻是完全沒有重疊。
  • 2D 行人與車輛追蹤: 戶外的交通場景,同樣用框的重疊。
  • 3D 聲音與多模態人物追蹤: 用分散的麥克風陣列找出正在說話的人在哪裡。漏檢和誤報剛好對應語音分段的錯誤,MOTP 對應定位精度。聲音追蹤不要求分辨說話者是誰,所以不計錯配,這個版本叫 A-MOTA。

七個系統,三個平手

2007 年 3D 多人視覺追蹤的結果如下:

系統MOTP漏檢率誤報率錯配次數MOTA
A92 mm30.86%6.99%1,13959.66%
B91 mm32.78%5.25%1,10359.56%
C141 mm20.66%18.58%51859.62%
D155 mm15.09%14.5%37869.58%
E222 mm23.74%20.24%49054.94%
F168 mm27.74%40.19%72030.49%
G147 mm13.07%7.78%36178.36%

整理自原論文 Figure 7,CLEAR 2007 3D 多人視覺追蹤。

先看 MOTP。大多數系統的平均定位誤差都在 20 公分以內,聽起來都很準,畢竟真實位置是把頭部中心投影到地板上,本身只標到 5 到 8 公分的精度。但作者提醒,50 公分的門檻會讓 MOTP 很難變大:超過 50 公分的都被當成漏檢踢掉了,就算誤差在門檻內均勻分布,MOTP 也只有 25 公分。這樣看,E 的 222 mm 其實不太準,B 的 91 mm 則相當精確。

再看 MOTA。最好的 G 是 78%,最差的 F 是 30%,一眼就看得出來。但 A、B、C 三個系統用的特徵和演算法很不一樣,MOTA 卻都在 59.6% 左右。

只看 MOTA,這三個系統一樣好。把分數拆開,B 的位置最準、誤報最少,但漏檢最多,錯配次數是 C 的兩倍多;C 漏得少、誤報多、錯配少。兩個追蹤器的強項完全不同。所以評測最後決定,除了 MOTP 和 MOTA,也一起公布漏檢、誤報和錯配這三個組成。

錯配太便宜了

表上的錯配是次數,不是比率。這背後有一個作者在 2006 年就發現、到論文發表時還沒解決的問題。

CLEAR 的資料,每段長好幾分鐘,每 1 秒才標註一次。一個合理的追蹤器,錯配次數和真實物體的總數相比少得可憐:錯配率通常不到 2%,漏檢和誤報卻有 20% 到 40%。一個人被漏掉一小段時間,扣的分就比換好幾次 ID 還多,標錯身分對 MOTA 的影響很小。

作者沒有替這件事下定論。標錯身分算不算比較輕微的錯,要看應用;但評測會議的共識是,希望給身分錯誤更多的權重,例如改用以整條軌跡為單位的錯誤量測,擺脫由逐幀漏檢、誤報主導的局面。

這段話寫在 2008 年。八年後的 IDF1 用整條軌跡做配對,再過四年,HOTA 把偵測和關聯拆成兩個分數,做的正是這件事。

後來的 MOTChallenge 每一幀都標註。以下是本文的推測:每一幀都標,漏檢和誤報會隨著幀數等比例增加,一次身分交換卻還是只算一次,CLEAR 當年就看到的不平衡,只會更嚴重。HOTA 那篇裡「換了三次 ID 只扣 3 分」的例子,就是這個不平衡的縮影。

門檻決定一切

TT 這個參數的影響也很大。TT 設成無限大,一組對應一旦建立就永遠有效,不管假設飄到多遠,MOTA 只剩下「物體數量對不對」的意義,MOTP 也失去作用;TT 趨近於零,所有物體最後都會被算成漏檢,兩個指標都沒有意義。

50 公分是憑直覺定的,效果還算合理。至於最佳的門檻怎麼決定,作者說這仍是個沒有答案的問題。

MOTA 為什麼可以是負的

2006 年的單人 3D 追蹤,只追台上的講者。表上最差的系統 A,MOTA 是 −79.78%-79.78\%。

它的平均定位誤差有 246 mm,因為距離超過 50 公分而被算成漏檢的比例高達 88.75%,真正沒輸出假設的漏檢只有 2.28%。

這就是 MOTA 會變成負數的原因。每一次定位誤差超過門檻,物體算一次漏檢,假設算一次誤報,同一個錯誤被罰兩次。

作者說這是刻意的。有些追蹤器會根據信心度,在估得不準時乾脆不輸出;有些追蹤器則一直輸出錯誤的位置。前者應該比較好。照論文的說法,一個有一半時間沒偵測到講者的追蹤器,比在同樣長的時間裡一直追著空白黑板的追蹤器還要好。

錯誤分成哪幾種固然重要,但錯誤在時間序列上怎麼數,對指標的行為影響同樣大,這是整篇論文最重要的觀察。

聲音追蹤也一樣,最好的 G 拿到 54.63% 的 A-MOTA,最差的 B 則是 −5.22%-5.22\%。至於 2007 年的臉部追蹤,兩個系統的 MOTP(框的重疊)分別是 0.66 和 0.68,找到臉之後框得一樣準;MOTA 卻是 33.07% 對上 68.81%,差別全在有沒有找到臉、能不能一直追住。

結論

這篇論文用一套明確的配對流程,把多目標追蹤的錯誤歸成漏檢、誤報、錯配三類,再用兩個數字總結:MOTP 量位置估得多準,MOTA 量總共錯了多少。

它的價值在流程。距離超過門檻就不算配上;舊的配對只要還有效就優先沿用;錯配只在改變的那一幀算一次;比率先加總再除。每一條規則都有一個具體的反例在背後撐著。

它的問題,作者也在當年的評測裡看到了。三個風格完全不同的系統可以拿到幾乎一樣的 MOTA;錯配和漏檢、誤報不成比例,標錯身分幾乎不影響分數;門檻 TT 怎麼定,沒有答案。後來的 MOTChallenge 把門檻統一成 IoU 0.5,身分錯誤的權重問題,則等到 IDF1 和 HOTA 才有人正面處理。

下次看到 MOTA 是負的,先別急著懷疑評估程式寫錯了。這篇論文早就說過,一直追著黑板跑的追蹤器,本來就該比什麼都不輸出的還要差。