返回論文筆記資料庫
arXiv 2016ECCV Workshops 2016多目標追蹤論文筆記

IDF1

機場追緝令

原始論文

Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking

論文作者

Ergys Ristani · Francesco Solera · Roger S. Zou · Rita Cucchiara · Carlo Tomasi

發表版本
ECCV Workshops 2016研討會(Workshop)
arXiv 首次提交
arXiv:1609.01775
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingidf12016,
  title = {{Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking}},
  author = {Ergys Ristani and Francesco Solera and Roger S. Zou and Rita Cucchiara and Carlo Tomasi},
  year = {2016},
  eprint = {1609.01775},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1609.01775}
}
本頁內容

追蹤論文的主表,MOTA 旁邊幾乎都會跟著一欄 IDF1。

它出自一篇多相機追蹤的論文。2016 年,杜克大學的 Ergys Ristani、Carlo Tomasi 和義大利摩德納大學的 Francesco Solera、Rita Cucchiara 等人,在這篇論文裡一次提出三樣東西:一組新的評估指標、一份當時最大的多相機資料集 DukeMTMC,以及一套參考用的追蹤系統。

後來的發展有點出乎意料。資料集在 2019 年被撤下,參考系統也很少有人提起;反倒是論文裡的指標,成了單相機追蹤的標準配備。

定義問題

多目標、多相機追蹤(Multi-Target, Multi-Camera tracking,MTMC),要在一整個相機網路裡持續追著每個人。一個人從一台相機的畫面走出去,經過沒有相機看得到的盲區,再出現在另一台相機前面,系統要認得出這還是同一個人。

機場裡的嫌犯

作者用一個機場的場景說明他們想量的東西。

保全在大廳發現了嫌犯 A,手上有兩套追蹤系統可以選。兩套系統都把嫌犯標成身分 1,一路追到安檢口。

  • 系統甲在安檢口犯了一次錯,之後都把嫌犯標成身分 2。只錯了一次,但保全從此跟丟了嫌犯。
  • 系統乙過了安檢之後,在身分 1 和 2 之間反覆切換。換了很多次 ID,但在安檢口到登機門之間,它有好幾段時間都正確地報出了嫌犯的位置,正確的總時間也比較長。

保全會選系統乙,因為最後是靠它在登機門逮到人的。但用 CLEAR MOT 的算法,系統甲只錯一次,系統乙錯了很多次。

作者的說法是,傳統上把多目標追蹤定義成「持續跟著多個目標」,所以既有的指標回報追蹤器「多常犯哪一種錯」;但有些使用者真正在乎的,是「每一個時刻,能不能知道誰在哪裡」。

作者並不主張哪一種指標比較好。像 CLEAR MOT 這種以事件為單位的指標,能指出錯誤從哪裡來,適合設計某個元件的工程師;在運動分析、保全、監控這類身分至關重要的應用裡,使用者需要的是以身分為單位的指標,不管錯在哪裡、為什麼錯。

一個人,兩個身分

先看單一相機內的問題。

本文整理的示意圖:一條真實軌跡 A(深色粗線,橫軸是時間)被追蹤器拆成身分 1(藍)和身分 2(橘)的片段。(a) 前三分之二是身分 1,之後全是身分 2;(b) 切成八段,身分 1 合計涵蓋 67%;(c) 也是八段,身分 1 合計涵蓋 83%。右側兩欄分別是 ID 切換次數(1、7、7)與身分 1 涵蓋的比例(67%、67%、83%)。
本文整理,依原論文 Figure 1 的設定繪製;片段的排列為示意。

三種情況裡,追蹤器都把一個真實的人 A,拆成了身分 1 和身分 2。

以事件計數的指標,(a) 只換了一次 ID,(b) 和 (c) 都換了 7 次。所以 (a) 遠比另外兩個好,(b) 和 (c) 一樣差。

作者認為,追蹤器真正犯的錯只有一種,就是把一個人看成了兩個人。要衡量這個錯有多嚴重,評估時得先決定,A 到底該對應身分 1 還是身分 2。對應一旦決定,A 被標成另一個身分的每一幀,都是追蹤器出錯的一幀。

這個選擇由評估者來做,不是追蹤器,所以應該盡量對追蹤器有利。三種情況裡,把 A 對應到身分 1 都最有利,因為身分 1 解釋了 A 最多的部分。接著只要數,A 有多少幀沒被標成身分 1:(a) 和 (b) 都是 33%,(c) 是 17%。

照這個算法,(a) 和 (b) 一樣好,(c) 最好,排序和事件計數正好相反。追蹤器在 (c) 有 83% 的時間知道 A 在哪裡,在 (a)、(b) 只有 67%。

把圖上的粗線和細線對調,同樣的推論也適用於另一種錯:兩個真實的人被追蹤器合成同一個身分。這時就替這個計算出的身分,挑它涵蓋最多的那個真實軌跡。

換相機的那一刻

多相機還有交接(handover)的問題。

既有的指標會另外計算「交接錯誤」:一個人從相機 I 走到相機 II,如果系統在兩邊給了不同的身分,就記一次。至於這算交接錯誤還是相機內的錯誤,只看軌跡在相機 I 的最後一幀、和在相機 II 的第一幀拿到什麼身分。

本文整理的示意圖:兩組情況,各有相機 I 和相機 II 兩個畫面。(a) 真實軌跡 A 在兩台相機都大致被標成身分 1,只有在相機 I 交接前的一小段被標成身分 2;(b) A 在相機 I 是身分 1,進入相機 II 後只有開頭一小段還是身分 1,其餘都被標成身分 2。
本文整理,依原論文 Figure 2 的設定繪製。

只看交接前後的兩幀,結論就很脆弱:

  • (a) 交接其實是對的,A 在兩台相機都被認成身分 1。只因為相機 I 結尾有一小段被錯標成身分 2,既有指標就同時記一次相機內的分裂和一次交接的分裂。
  • (b) 交接其實是錯的,A 進了相機 II 之後幾乎都被標成身分 2。但相機 II 開頭剛好有一小段還是身分 1,既有指標便認為交接成功,只記一次相機內的分裂。

用作者的新算法,(a) 只罰錯標的那一小段,(b) 則罰將近整段在相機 II 的軌跡。

當時多相機追蹤常用的綜合指標 MCTA,把偵測的 F1 分數、相機內的錯誤和交接錯誤三項相乘。這讓問題更嚴重:上面這種情況一旦讓一個錯誤從相機內那一項移到交接那一項,它對分數的影響就會劇烈改變,因為它被乘上的是另外兩項的值。作者也直說,用乘法組合的理由並不清楚。

另外,MOTA 本身也不適合多相機。一條橫跨 ncn_c 台相機、共 nfn_f 幀的軌跡,相鄰兩幀跨越相機的連結只有大約 ncn_c 個,相機內的有 nf−ncn_f - n_c 個,而 ncn_c 遠小於 nfn_f。跨相機認錯人,在 MOTA 裡幾乎看不到。

解決問題

作者改成不算錯誤發生了幾次,而算追蹤器有多長的時間認對了人。

整條軌跡,一對一配對

第一步,把真實的身分和計算出的身分配成對。

這裡的配對單位是整條軌跡,而且是一對一:一條真實軌跡只能配一條計算軌跡,反之亦然。挑選的標準是讓錯配的幀數,在所有資料上加起來最少。

作者把它寫成一個二部圖的配對問題。左邊放每一條真實軌跡 τ\tau,右邊放每一條計算軌跡 γ\gamma。此外,每條計算軌跡在左邊多一個「誤報」替身 fγ+f^+_\gamma,每條真實軌跡在右邊多一個「漏檢」替身 fτ−f^-_\tau。這兩種替身讓某條軌跡可以不跟任何人配對,代價是它所有的幀都算錯。

兩條軌跡在某一幀「對不上」,記為 m(τ,γ,t,Δ)=1m(\tau, \gamma, t, \Delta) = 1。在影像上,兩個框的 IoU 小於 Δ\Delta 就算對不上;在地面座標上,兩個位置相距超過 1 公尺就算對不上。和替身配對時,另一邊的每一幀都算對不上。

一組配對 (τ,γ)(\tau, \gamma) 的成本,是它會造成的漏檢幀數加上誤報幀數:

c(τ,γ,Δ)=∑t∈Tτm(τ,γ,t,Δ)⏟漏檢+∑t∈Tγm(τ,γ,t,Δ)⏟誤報\begin{aligned} c(\tau, \gamma, \Delta) = {} & \underbrace{\sum_{t \in T_\tau} m(\tau, \gamma, t, \Delta)}_{\text{漏檢}} \\ & + \underbrace{\sum_{t \in T_\gamma} m(\tau, \gamma, t, \Delta)}_{\text{誤報}} \end{aligned}

TτT_\tau 和 TγT_\gamma 分別是兩條軌跡出現的幀。

解出成本最小的一對一配對後,每一幀的結果就分成三類:

  • IDTP: 配上的真實軌跡和計算軌跡,在同一幀確實對得上。
  • IDFN: 真實軌跡的某一幀,沒有被它配到的計算軌跡對上(包括根本沒配到任何軌跡)。
  • IDFP: 計算軌跡的某一幀,沒有對上它配到的真實軌跡(包括根本沒配到)。

三個分數

有了這三個計數,就能套用一般的精確率和召回率:

IDP=IDTPIDTP+IDFPIDR=IDTPIDTP+IDFN\begin{aligned} \text{IDP} &= \frac{\text{IDTP}}{\text{IDTP} + \text{IDFP}} \\ \text{IDR} &= \frac{\text{IDTP}}{\text{IDTP} + \text{IDFN}} \end{aligned} IDF1=2 IDTP2 IDTP+IDFP+IDFN\text{IDF1} = \frac{2\,\text{IDTP}}{2\,\text{IDTP} + \text{IDFP} + \text{IDFN}}

IDP 是計算出的框裡,身分標對的比例;IDR 是真實的框裡,身分被認對的比例。IDF1 是兩者的調和平均,也可以讀成「標對身分的框數,除以真實框數和計算框數的平均」。

算一次看看

我們用一個小例子走一遍。畫面裡有兩個人 τ1\tau_1、τ2\tau_2,出現 10 幀;追蹤器輸出兩條軌跡 γ1\gamma_1、γ2\gamma_2,每一幀都偵測得很準,只是兩條軌跡在中途互換了一次。

本文整理的算例:兩個真實的人 τ1、τ2,各 10 幀,每一格標出該幀是被哪條計算軌跡(γ1 藍、γ2 橘)對上。(i) 從第 7 幀起兩條軌跡互換,IDF1 0.6、MOTA 0.9;(ii) 從第 2 幀起就互換,IDF1 0.9、MOTA 0.9。
本文整理的算例,依原論文第 3.3–3.4 節的定義計算。

先看上半部的情況 (i),第 7 幀互換。把 τ1\tau_1 配給 γ1\gamma_1:τ1\tau_1 在第 7 到 10 幀沒被 γ1\gamma_1 對上,漏檢 4 幀;γ1\gamma_1 在第 7 到 10 幀跑去對 τ2\tau_2,誤報 4 幀,成本 8。改配 γ2\gamma_2 則各錯 6 幀,成本 12。和替身配對的代價更大,整條軌跡 10 幀都算錯。完整的成本表如下:

γ1\gamma_1γ2\gamma_2fτ1−f^-_{\tau_1}fτ2−f^-_{\tau_2}
τ1\tau_181210—
τ2\tau_2128—10
fγ1+f^+_{\gamma_1}10—00
fγ2+f^+_{\gamma_2}—1000

本文整理。「—」表示兩個節點之間沒有邊;兩個替身互配的成本是 0。

最小成本的配對是 (τ1,γ1)(\tau_1, \gamma_1)、(τ2,γ2)(\tau_2, \gamma_2),總成本 16。於是 IDFN = 8、IDFP = 8,兩人共 20 幀,IDTP = 20 − 8 = 12:

IDF1=2×122×12+8+8=0.6\text{IDF1} = \frac{2 \times 12}{2 \times 12 + 8 + 8} = 0.6

同一個例子用 CLEAR MOT 算:沒有漏檢、沒有誤報,第 7 幀兩個人各換一次假設,錯配 2 次,MOTA =1−2/20=0.9= 1 - 2/20 = 0.9。

再看下半部的情況 (ii),互換提早到第 2 幀。MOTA 一樣是 0.9,還是錯配兩次。IDF1 這邊,最好的配對變成 (τ1,γ2)(\tau_1, \gamma_2)、(τ2,γ1)(\tau_2, \gamma_1),兩人各有 9 幀對得上,IDTP = 18,IDF1 = 0.9。如果剛好在第 6 幀互換,前後各 5 幀,IDF1 會掉到最低的 0.5。

CLEAR MOT 的作者特別設計,讓「同一次交換發生得早或晚」不影響扣分,並把相反的作法稱為反直覺。IDF1 則正好相反:交換的時間點決定了追蹤器標錯身分的時間有多長,這正是它想量的東西。

兩種指標的分歧,從一開始就是刻意的。

和 CLEAR MOT 的差別

作者把兩者並排比較:

  1. 配對的範圍。 CLEAR MOT 一幀一幀地配,上一幀的配對只要還在門檻內就沿用。每一幀是一對一,但放到整段影片,一個真實的人可能先後配過好幾條軌跡,是多對多。IDF1 在整段影片上只配一次,全程一對一。
  2. 沒有「分裂」的概念。 既然整段只配一次,就沒有「換 ID」這種事件可數,只檢查每一幀有沒有被正確的身分解釋。
  3. 錯誤的單位。 IDF1 只數幀,不混入距離。作者的理由是,如果把二元計數和歐氏距離混在一起,就分不清一個追蹤器是「身分認得久」還是「位置跟得近」。

作者歸納這套配對的三個性質:一對一、對追蹤器最有利、所有錯誤同一種貨幣。重疊和不重疊的相機視野,也用完全相同的方式處理。

如果真的想知道跨相機有多難,作者也給了作法:配對做兩次,一次把所有相機的資料放在一起,一次每台相機各自配對、再把錯誤加總。前者的錯誤數一定不少於後者,兩者的差距,就是跨相機關聯額外犯的錯。

DukeMTMC

論文的第二個貢獻是資料集。

八台同步的靜態相機架在杜克大學校園裡,在下課的人潮時段錄影,每台 1 小時 25 分鐘,解析度 1080p、每秒 60 幀,總計超過 10 小時、200 萬幀。畫面裡有 2,834 個不同的人、6,791 條單相機軌跡,平均每個人有 2.5 條單相機軌跡,最多 7 條。

它難在哪裡,看幾個數字:

  • 單一相機每幀 0 到 54 人,依相機而定。
  • 全部共有 4,159 次交接,最多同時有 50 人在盲區裡。
  • 超過 1,800 次遮擋(重疊 50% 以上),平均持續 60 幀。
  • 891 個人只出現在一台相機前,對容易把不同相機的人誤配在一起的追蹤器是個考驗。
  • 大部分相機的視野不重疊,只有兩對相機有一小塊重疊區,約 100 人經過。

標註是每個人的腳與地面接觸點的軌跡。五個人花了一年,在自製的介面上標了將近 10 萬個關鍵點,再內插到每一幀;影像上的框則是半自動產生。每台相機前 5 分鐘作為訓練和驗證,其餘 80 分鐘作為測試。

作者在比較表上列了當時已知的十幾個多相機資料集,身分數最多的也只有 255 個。DukeMTMC 的 2,834 個身分,比之前所有資料集加起來還多,錄影時間最長、幀率也最高。

資料量也代表運算量。作者提到,用標準演算法算完所有前景遮罩,單機要 6 天;用 DPM 偵測器跑完所有偵測,192 核的叢集要 7 天。

作者也列出限制:只有一個戶外場景、相機固定、陰天的柔光可能讓追蹤比較容易,視野大多不重疊,對依賴重疊視野的方法比較不利。

這份資料集後來被大量使用,也衍生出行人重識別用的 DukeMTMC-reID。2019 年,杜克大學撤下了資料集網站。依杜克校報的報導,校方表示資料集的發布明顯偏離了核准的研究計畫,不打算重新開放。

參考系統

第三個貢獻是一套參考用的多相機追蹤器,延伸自 Ristani 和 Tomasi 先前的單相機系統。

它分層把觀測合併起來:偵測先合成短的軌跡片段,短到可以用簡單的運動模型;片段再合成單相機軌跡;最後把各相機的軌跡連成跨相機的身分。每一層都是一張圖,節點是觀測,邊上的權重介於 −1 和 1 之間,表示兩個觀測是同一人的證據強弱。把節點分群、讓同群的權重總和最大,是一個相關分群(correlation clustering)問題,用二元整數規劃求解。

這個問題是 NP-hard,也很難近似,所以才拆成好幾層,讓每個子問題都夠小;時間上則用滑動視窗,處理沒有盡頭的影片。

在既有的 NLPR MCT 四個資料集上,照慣例給定真實的單相機軌跡、只比跨相機關聯,用 MCTA 評分,這套系統在六個方法中平均排第二。

討論

兩種指標量的是不同的東西

作者在 DukeMTMC 上跑參考系統,檢查每一條真實軌跡的 ID 召回率、ID 精確率,和它被記到的分裂、合併次數有沒有關係。四組相關係數分別是 −0.24、−0.05、−0.38、−0.41,相關性都很弱。

換句話說,一條軌跡被記了多少次分裂或合併,很難用來推測它的身分有多少時間被認對。事件式的指標和身分式的指標,量的確實是不同的東西。

交接的問題不只是理論

前面那兩種交接的反例,在實際結果裡有多常見?參考系統在資料集上共做了 5,549 次交接,其中約 74%(4,119 次),在交接附近有一小段短軌跡,讓傳統指標和新指標的判斷明顯不同:

情況次數比例
交接實際上正確,卻被記成分裂1,692 + 73830.5% + 13.3%
交接實際上正確,卻被記成合併1,065 + 49619.2% + 8.9%
交接實際上錯誤,卻沒被記成分裂701.3%
交接實際上錯誤,卻沒被記成合併581.0%

整理自原論文 Figure 5,比例為占全部 5,549 次交接的百分比;前兩列分別合併了兩種圖示情況。

大部分的落差,是「交接明明做對了,卻被傳統指標罰了」。

同一個系統,兩種排序

最後,作者把參考系統在 DukeMTMC 測試集上的成績列成基準:

相機MOTAIDPIDRIDF1
137.3679.1744.9757.36
249.1769.1163.7866.34
353.5081.4655.1165.74
455.9279.2361.1669.03
573.0984.8667.9775.48
612.9448.3543.7145.91
762.0385.2367.0875.07
836.9890.5435.8651.37

整理自原論文 Table 3 下半部,單相機結果;另有 FP、FN、ID 切換、MT、ML 等欄位未列出。

兩種指標對相機難度的判斷並不一致。照 MOTA,相機 3 比相機 2 容易;照 IDF1,相機 2 反而稍好。相機 6 和 7 的差距更明顯:MOTA 差了將近 50 分(12.94 對 62.03),IDF1 只差 29 分(45.91 對 75.07)。作者說,實際看追蹤結果,相機 6 也沒有 MOTA 說的那麼糟。

也可以注意相機 8:IDP 高達 90.54,IDR 只有 35.86。標出來的身分大多是對的,但很多人根本沒被認出來。這種取捨,只看 IDF1 一個數字是看不出來的,這也是作者同時提供精確率和召回率的原因。

跨所有相機的結果,IDP、IDR、IDF1 分別是 52.35、36.46、42.98。表上另有一列標為上限的跨相機數字,IDF1 是 59.77。

結論

這篇論文用一個機場的例子,把「多常犯錯」和「多長時間認對人」這兩件事分開。IDF1 在整段影片上把真實身分和計算身分一對一配對,讓配對對追蹤器盡量有利,再數有多少幀的身分被認對。所有錯誤都以幀為單位計價,不管它發生在相機內還是交接時。

它和 CLEAR MOT 的分歧是刻意的。CLEAR MOT 認為一次交換就是一次錯,不該因為發生得早晚而有差別;IDF1 認為,交換發生得早,代表追蹤器有更長的時間報錯了人。兩種看法各自回答一個合理的問題,作者也沒有要取代誰的意思。

後來 MOTChallenge 把 IDF1 放上排行榜,和 MOTA 並列。再過四年,HOTA 指出 IDF1 走到了另一個極端,幾乎只在乎關聯,偵測的好壞很少反映在分數上。

回到機場。保全要的從來不是「錯幾次」,而是在登機門前,系統能不能指著螢幕說:「他在那裡。」