Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking
- 發表版本
- ECCV Workshops 2016研討會(Workshop)
- arXiv 首次提交
- arXiv:1609.01775
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingidf12016,
title = {{Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking}},
author = {Ergys Ristani and Francesco Solera and Roger S. Zou and Rita Cucchiara and Carlo Tomasi},
year = {2016},
eprint = {1609.01775},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1609.01775}
}
追蹤論文的主表,MOTA 旁邊幾乎都會跟著一欄 IDF1。
它出自一篇多相機追蹤的論文。2016 年,杜克大學的 Ergys Ristani、Carlo Tomasi 和義大利摩德納大學的 Francesco Solera、Rita Cucchiara 等人,在這篇論文裡一次提出三樣東西:一組新的評估指標、一份當時最大的多相機資料集 DukeMTMC,以及一套參考用的追蹤系統。
後來的發展有點出乎意料。資料集在 2019 年被撤下,參考系統也很少有人提起;反倒是論文裡的指標,成了單相機追蹤的標準配備。
定義問題
多目標、多相機追蹤(Multi-Target, Multi-Camera tracking,MTMC),要在一整個相機網路裡持續追著每個人。一個人從一台相機的畫面走出去,經過沒有相機看得到的盲區,再出現在另一台相機前面,系統要認得出這還是同一個人。
機場裡的嫌犯
作者用一個機場的場景說明他們想量的東西。
保全在大廳發現了嫌犯 A,手上有兩套追蹤系統可以選。兩套系統都把嫌犯標成身分 1,一路追到安檢口。
- 系統甲在安檢口犯了一次錯,之後都把嫌犯標成身分 2。只錯了一次,但保全從此跟丟了嫌犯。
- 系統乙過了安檢之後,在身分 1 和 2 之間反覆切換。換了很多次 ID,但在安檢口到登機門之間,它有好幾段時間都正確地報出了嫌犯的位置,正確的總時間也比較長。
保全會選系統乙,因為最後是靠它在登機門逮到人的。但用 CLEAR MOT 的算法,系統甲只錯一次,系統乙錯了很多次。
作者的說法是,傳統上把多目標追蹤定義成「持續跟著多個目標」,所以既有的指標回報追蹤器「多常犯哪一種錯」;但有些使用者真正在乎的,是「每一個時刻,能不能知道誰在哪裡」。
作者並不主張哪一種指標比較好。像 CLEAR MOT 這種以事件為單位的指標,能指出錯誤從哪裡來,適合設計某個元件的工程師;在運動分析、保全、監控這類身分至關重要的應用裡,使用者需要的是以身分為單位的指標,不管錯在哪裡、為什麼錯。
一個人,兩個身分
先看單一相機內的問題。

三種情況裡,追蹤器都把一個真實的人 A,拆成了身分 1 和身分 2。
以事件計數的指標,(a) 只換了一次 ID,(b) 和 (c) 都換了 7 次。所以 (a) 遠比另外兩個好,(b) 和 (c) 一樣差。
作者認為,追蹤器真正犯的錯只有一種,就是把一個人看成了兩個人。要衡量這個錯有多嚴重,評估時得先決定,A 到底該對應身分 1 還是身分 2。對應一旦決定,A 被標成另一個身分的每一幀,都是追蹤器出錯的一幀。
這個選擇由評估者來做,不是追蹤器,所以應該盡量對追蹤器有利。三種情況裡,把 A 對應到身分 1 都最有利,因為身分 1 解釋了 A 最多的部分。接著只要數,A 有多少幀沒被標成身分 1:(a) 和 (b) 都是 33%,(c) 是 17%。
照這個算法,(a) 和 (b) 一樣好,(c) 最好,排序和事件計數正好相反。追蹤器在 (c) 有 83% 的時間知道 A 在哪裡,在 (a)、(b) 只有 67%。
把圖上的粗線和細線對調,同樣的推論也適用於另一種錯:兩個真實的人被追蹤器合成同一個身分。這時就替這個計算出的身分,挑它涵蓋最多的那個真實軌跡。
換相機的那一刻
多相機還有交接(handover)的問題。
既有的指標會另外計算「交接錯誤」:一個人從相機 I 走到相機 II,如果系統在兩邊給了不同的身分,就記一次。至於這算交接錯誤還是相機內的錯誤,只看軌跡在相機 I 的最後一幀、和在相機 II 的第一幀拿到什麼身分。

只看交接前後的兩幀,結論就很脆弱:
- (a) 交接其實是對的,A 在兩台相機都被認成身分 1。只因為相機 I 結尾有一小段被錯標成身分 2,既有指標就同時記一次相機內的分裂和一次交接的分裂。
- (b) 交接其實是錯的,A 進了相機 II 之後幾乎都被標成身分 2。但相機 II 開頭剛好有一小段還是身分 1,既有指標便認為交接成功,只記一次相機內的分裂。
用作者的新算法,(a) 只罰錯標的那一小段,(b) 則罰將近整段在相機 II 的軌跡。
當時多相機追蹤常用的綜合指標 MCTA,把偵測的 F1 分數、相機內的錯誤和交接錯誤三項相乘。這讓問題更嚴重:上面這種情況一旦讓一個錯誤從相機內那一項移到交接那一項,它對分數的影響就會劇烈改變,因為它被乘上的是另外兩項的值。作者也直說,用乘法組合的理由並不清楚。
另外,MOTA 本身也不適合多相機。一條橫跨 台相機、共 幀的軌跡,相鄰兩幀跨越相機的連結只有大約 個,相機內的有 個,而 遠小於 。跨相機認錯人,在 MOTA 裡幾乎看不到。
解決問題
作者改成不算錯誤發生了幾次,而算追蹤器有多長的時間認對了人。
整條軌跡,一對一配對
第一步,把真實的身分和計算出的身分配成對。
這裡的配對單位是整條軌跡,而且是一對一:一條真實軌跡只能配一條計算軌跡,反之亦然。挑選的標準是讓錯配的幀數,在所有資料上加起來最少。
作者把它寫成一個二部圖的配對問題。左邊放每一條真實軌跡 ,右邊放每一條計算軌跡 。此外,每條計算軌跡在左邊多一個「誤報」替身 ,每條真實軌跡在右邊多一個「漏檢」替身 。這兩種替身讓某條軌跡可以不跟任何人配對,代價是它所有的幀都算錯。
兩條軌跡在某一幀「對不上」,記為 。在影像上,兩個框的 IoU 小於 就算對不上;在地面座標上,兩個位置相距超過 1 公尺就算對不上。和替身配對時,另一邊的每一幀都算對不上。
一組配對 的成本,是它會造成的漏檢幀數加上誤報幀數:
和 分別是兩條軌跡出現的幀。
解出成本最小的一對一配對後,每一幀的結果就分成三類:
- IDTP: 配上的真實軌跡和計算軌跡,在同一幀確實對得上。
- IDFN: 真實軌跡的某一幀,沒有被它配到的計算軌跡對上(包括根本沒配到任何軌跡)。
- IDFP: 計算軌跡的某一幀,沒有對上它配到的真實軌跡(包括根本沒配到)。
三個分數
有了這三個計數,就能套用一般的精確率和召回率:
IDP 是計算出的框裡,身分標對的比例;IDR 是真實的框裡,身分被認對的比例。IDF1 是兩者的調和平均,也可以讀成「標對身分的框數,除以真實框數和計算框數的平均」。
算一次看看
我們用一個小例子走一遍。畫面裡有兩個人 、,出現 10 幀;追蹤器輸出兩條軌跡 、,每一幀都偵測得很準,只是兩條軌跡在中途互換了一次。

先看上半部的情況 (i),第 7 幀互換。把 配給 : 在第 7 到 10 幀沒被 對上,漏檢 4 幀; 在第 7 到 10 幀跑去對 ,誤報 4 幀,成本 8。改配 則各錯 6 幀,成本 12。和替身配對的代價更大,整條軌跡 10 幀都算錯。完整的成本表如下:
| 8 | 12 | 10 | — | |
| 12 | 8 | — | 10 | |
| 10 | — | 0 | 0 | |
| — | 10 | 0 | 0 |
本文整理。「—」表示兩個節點之間沒有邊;兩個替身互配的成本是 0。
最小成本的配對是 、,總成本 16。於是 IDFN = 8、IDFP = 8,兩人共 20 幀,IDTP = 20 − 8 = 12:
同一個例子用 CLEAR MOT 算:沒有漏檢、沒有誤報,第 7 幀兩個人各換一次假設,錯配 2 次,MOTA 。
再看下半部的情況 (ii),互換提早到第 2 幀。MOTA 一樣是 0.9,還是錯配兩次。IDF1 這邊,最好的配對變成 、,兩人各有 9 幀對得上,IDTP = 18,IDF1 = 0.9。如果剛好在第 6 幀互換,前後各 5 幀,IDF1 會掉到最低的 0.5。
CLEAR MOT 的作者特別設計,讓「同一次交換發生得早或晚」不影響扣分,並把相反的作法稱為反直覺。IDF1 則正好相反:交換的時間點決定了追蹤器標錯身分的時間有多長,這正是它想量的東西。
兩種指標的分歧,從一開始就是刻意的。
和 CLEAR MOT 的差別
作者把兩者並排比較:
- 配對的範圍。 CLEAR MOT 一幀一幀地配,上一幀的配對只要還在門檻內就沿用。每一幀是一對一,但放到整段影片,一個真實的人可能先後配過好幾條軌跡,是多對多。IDF1 在整段影片上只配一次,全程一對一。
- 沒有「分裂」的概念。 既然整段只配一次,就沒有「換 ID」這種事件可數,只檢查每一幀有沒有被正確的身分解釋。
- 錯誤的單位。 IDF1 只數幀,不混入距離。作者的理由是,如果把二元計數和歐氏距離混在一起,就分不清一個追蹤器是「身分認得久」還是「位置跟得近」。
作者歸納這套配對的三個性質:一對一、對追蹤器最有利、所有錯誤同一種貨幣。重疊和不重疊的相機視野,也用完全相同的方式處理。
如果真的想知道跨相機有多難,作者也給了作法:配對做兩次,一次把所有相機的資料放在一起,一次每台相機各自配對、再把錯誤加總。前者的錯誤數一定不少於後者,兩者的差距,就是跨相機關聯額外犯的錯。
DukeMTMC
論文的第二個貢獻是資料集。
八台同步的靜態相機架在杜克大學校園裡,在下課的人潮時段錄影,每台 1 小時 25 分鐘,解析度 1080p、每秒 60 幀,總計超過 10 小時、200 萬幀。畫面裡有 2,834 個不同的人、6,791 條單相機軌跡,平均每個人有 2.5 條單相機軌跡,最多 7 條。
它難在哪裡,看幾個數字:
- 單一相機每幀 0 到 54 人,依相機而定。
- 全部共有 4,159 次交接,最多同時有 50 人在盲區裡。
- 超過 1,800 次遮擋(重疊 50% 以上),平均持續 60 幀。
- 891 個人只出現在一台相機前,對容易把不同相機的人誤配在一起的追蹤器是個考驗。
- 大部分相機的視野不重疊,只有兩對相機有一小塊重疊區,約 100 人經過。
標註是每個人的腳與地面接觸點的軌跡。五個人花了一年,在自製的介面上標了將近 10 萬個關鍵點,再內插到每一幀;影像上的框則是半自動產生。每台相機前 5 分鐘作為訓練和驗證,其餘 80 分鐘作為測試。
作者在比較表上列了當時已知的十幾個多相機資料集,身分數最多的也只有 255 個。DukeMTMC 的 2,834 個身分,比之前所有資料集加起來還多,錄影時間最長、幀率也最高。
資料量也代表運算量。作者提到,用標準演算法算完所有前景遮罩,單機要 6 天;用 DPM 偵測器跑完所有偵測,192 核的叢集要 7 天。
作者也列出限制:只有一個戶外場景、相機固定、陰天的柔光可能讓追蹤比較容易,視野大多不重疊,對依賴重疊視野的方法比較不利。
這份資料集後來被大量使用,也衍生出行人重識別用的 DukeMTMC-reID。2019 年,杜克大學撤下了資料集網站。依杜克校報的報導,校方表示資料集的發布明顯偏離了核准的研究計畫,不打算重新開放。
參考系統
第三個貢獻是一套參考用的多相機追蹤器,延伸自 Ristani 和 Tomasi 先前的單相機系統。
它分層把觀測合併起來:偵測先合成短的軌跡片段,短到可以用簡單的運動模型;片段再合成單相機軌跡;最後把各相機的軌跡連成跨相機的身分。每一層都是一張圖,節點是觀測,邊上的權重介於 −1 和 1 之間,表示兩個觀測是同一人的證據強弱。把節點分群、讓同群的權重總和最大,是一個相關分群(correlation clustering)問題,用二元整數規劃求解。
這個問題是 NP-hard,也很難近似,所以才拆成好幾層,讓每個子問題都夠小;時間上則用滑動視窗,處理沒有盡頭的影片。
在既有的 NLPR MCT 四個資料集上,照慣例給定真實的單相機軌跡、只比跨相機關聯,用 MCTA 評分,這套系統在六個方法中平均排第二。
討論
兩種指標量的是不同的東西
作者在 DukeMTMC 上跑參考系統,檢查每一條真實軌跡的 ID 召回率、ID 精確率,和它被記到的分裂、合併次數有沒有關係。四組相關係數分別是 −0.24、−0.05、−0.38、−0.41,相關性都很弱。
換句話說,一條軌跡被記了多少次分裂或合併,很難用來推測它的身分有多少時間被認對。事件式的指標和身分式的指標,量的確實是不同的東西。
交接的問題不只是理論
前面那兩種交接的反例,在實際結果裡有多常見?參考系統在資料集上共做了 5,549 次交接,其中約 74%(4,119 次),在交接附近有一小段短軌跡,讓傳統指標和新指標的判斷明顯不同:
| 情況 | 次數 | 比例 |
|---|---|---|
| 交接實際上正確,卻被記成分裂 | 1,692 + 738 | 30.5% + 13.3% |
| 交接實際上正確,卻被記成合併 | 1,065 + 496 | 19.2% + 8.9% |
| 交接實際上錯誤,卻沒被記成分裂 | 70 | 1.3% |
| 交接實際上錯誤,卻沒被記成合併 | 58 | 1.0% |
整理自原論文 Figure 5,比例為占全部 5,549 次交接的百分比;前兩列分別合併了兩種圖示情況。
大部分的落差,是「交接明明做對了,卻被傳統指標罰了」。
同一個系統,兩種排序
最後,作者把參考系統在 DukeMTMC 測試集上的成績列成基準:
| 相機 | MOTA | IDP | IDR | IDF1 |
|---|---|---|---|---|
| 1 | 37.36 | 79.17 | 44.97 | 57.36 |
| 2 | 49.17 | 69.11 | 63.78 | 66.34 |
| 3 | 53.50 | 81.46 | 55.11 | 65.74 |
| 4 | 55.92 | 79.23 | 61.16 | 69.03 |
| 5 | 73.09 | 84.86 | 67.97 | 75.48 |
| 6 | 12.94 | 48.35 | 43.71 | 45.91 |
| 7 | 62.03 | 85.23 | 67.08 | 75.07 |
| 8 | 36.98 | 90.54 | 35.86 | 51.37 |
整理自原論文 Table 3 下半部,單相機結果;另有 FP、FN、ID 切換、MT、ML 等欄位未列出。
兩種指標對相機難度的判斷並不一致。照 MOTA,相機 3 比相機 2 容易;照 IDF1,相機 2 反而稍好。相機 6 和 7 的差距更明顯:MOTA 差了將近 50 分(12.94 對 62.03),IDF1 只差 29 分(45.91 對 75.07)。作者說,實際看追蹤結果,相機 6 也沒有 MOTA 說的那麼糟。
也可以注意相機 8:IDP 高達 90.54,IDR 只有 35.86。標出來的身分大多是對的,但很多人根本沒被認出來。這種取捨,只看 IDF1 一個數字是看不出來的,這也是作者同時提供精確率和召回率的原因。
跨所有相機的結果,IDP、IDR、IDF1 分別是 52.35、36.46、42.98。表上另有一列標為上限的跨相機數字,IDF1 是 59.77。
結論
這篇論文用一個機場的例子,把「多常犯錯」和「多長時間認對人」這兩件事分開。IDF1 在整段影片上把真實身分和計算身分一對一配對,讓配對對追蹤器盡量有利,再數有多少幀的身分被認對。所有錯誤都以幀為單位計價,不管它發生在相機內還是交接時。
它和 CLEAR MOT 的分歧是刻意的。CLEAR MOT 認為一次交換就是一次錯,不該因為發生得早晚而有差別;IDF1 認為,交換發生得早,代表追蹤器有更長的時間報錯了人。兩種看法各自回答一個合理的問題,作者也沒有要取代誰的意思。
後來 MOTChallenge 把 IDF1 放上排行榜,和 MOTA 並列。再過四年,HOTA 指出 IDF1 走到了另一個極端,幾乎只在乎關聯,偵測的好壞很少反映在分數上。
回到機場。保全要的從來不是「錯幾次」,而是在登機門前,系統能不能指著螢幕說:「他在那裡。」