Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space
- 發表版本
- WACV 2023會議
- arXiv 首次提交
- arXiv:2211.14317
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{multiobjecttrackingcbiou2022,
title = {{Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space}},
author = {Fan Yang and Shigeyuki Odashima and Shoichi Masui and Shan Jiang},
year = {2022},
eprint = {2211.14317},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2211.14317}
}
DanceTrack 出現之後,大家發現同一批追蹤器在 MOT17 上分數都差不多,換到 DanceTrack 就拉開了。舞者穿得一模一樣,外觀特徵派不上用場;動作又快又亂,卡爾曼濾波也常常預測錯。
OC-SORT 選擇修卡爾曼濾波。富士通研究所的 Fan Yang、Shigeyuki Odashima、Shoichi Masui 和 Shan Jiang 走了另一條路,先不管運動模型準不準,把配對的範圍放寬一點。
這篇的論文標題是一個問句:物體的運動不規則、外觀又相似,很難追嗎?那就替配對空間加一點緩衝。這個方法也是他們在 2022 年 SoccerNet 足球追蹤挑戰與 DanceTrack 群舞追蹤挑戰都拿下第二名的主要元件。
定義問題
只用框的位置來關聯,SORT 這一系的追蹤器靠的是 IoU:上一幀的軌跡預測一個框,這一幀的偵測也有一個框,兩個框重疊得越多,越可能是同一個人。
作者推測,追蹤在 DanceTrack 上失敗,主要有兩個原因:
- 相鄰兩幀根本不重疊。 舞者一個大動作,同一個人在兩幀之間的框就分開了,IoU 是 0,配不上。
- 運動估計錯了,就一直錯下去。 一個人被遮住幾幀,軌跡只能靠運動模型往前推。如果他在這段時間突然加速或轉身,預測的框越推越偏,等他重新出現、偵測框就在眼前,軌跡也配不上了。
外觀特徵本來可以補救這兩種情況,但在舞者穿著一樣的時候行不通。
這兩個問題的共同點,是 IoU 對所有不重疊的框給的分數都是 0。差一點點和差很遠,在 IoU 眼裡沒有分別。
GIoU、DIoU 這類 IoU 的變形,也能替不重疊的框算出分數。作者則提出一個更直接的作法。
解決問題
把框撐大一點

緩衝 IoU(Buffered IoU,BIoU)的作法,就是在算 IoU 之前,先把兩個框按比例撐大。
一個框寫成左上角座標和寬高 ,緩衝比例是 ,撐大後的框是
左右各多 ,上下各多 。中心不變,長寬比不變,只是變大了。
我們用一個具體的例子算算看。一個舞者的框寬 40、高 100 像素,下一幀他往右跳了 50 像素,兩個框完全沒有重疊,IoU 是 0。
- : 兩個框都變成 64 × 160。中心相距 50,寬度 64,左右重疊了 像素;高度完全對齊,重疊 160 像素。交集 ,聯集 ,BIoU 約 0.12。
- : 兩個框都變成 80 × 200,左右重疊 30 像素,交集 6,000,聯集 26,000,BIoU 約 0.23。
原本為 0 的分數,現在有了。
這個分數有兩個作用。一是讓相鄰兩幀不重疊的同一個人能直接配上;二是當運動模型預測得有點偏,撐大的框還能把真正的偵測框罩進來,等於在配對空間裡補償了運動估計的誤差。
和以往的「搜尋視窗」不同,作者不是把放大的框拿來限制搜尋範圍,而是直接拿它來算配對分數。
撐太大也不行
緩衝越大,能救回的人越多,但也越容易配錯人。
延續剛才的例子。假設旁邊還有一個舞者,在 70 像素之外。 時,撐大的框寬 64,碰不到 70 像素外的人,BIoU 是 0; 時寬 80,就和他重疊了 10 像素,BIoU 約 0.07。緩衝一放大,鄰居也變成了候選人。
所以作者把配對分成兩段:

- 先用小緩衝配。 存活的軌跡和這一幀的偵測,用小緩衝 的 BIoU 算分數,再用匈牙利演算法配對。大部分正常移動的人,在這一步就配好了。
- 剩下的用大緩衝再配一次。 第一輪沒配上的軌跡和偵測,改用大緩衝 再配一次。這一輪要處理的,是動作特別大、或運動估計偏得比較多的人。
這種「先配有把握的、再配困難的」串接配對,在追蹤領域很常見。ByteTrack 先配高信心的偵測,DeepSORT 先配最近才配過的軌跡;C-BIoU 則是先用比較保守的配對空間,有剩下的才放寬。
兩個緩衝比例怎麼定?作者在訓練集上做網格搜尋。因為 ,組合數量有限,加上這個追蹤器跑得很快,搜尋花的時間可以接受。
不用卡爾曼濾波
C-BIoU 的運動模型簡單得出乎意料,只是把最近幾幀的位移平均起來往前推。
一條軌跡已經連續配上超過 幀,接著有 幀沒配上,它的狀態估計為
這裡的框寫成左上、右下兩個角點 。 預設在 2 到 5 之間。
最近 幀的總位移除以 ,就是平均每幀移動多少,再乘上中間隔了幾幀。舞者突然轉向,這個估計最多兩三幀就跟上了,不像卡爾曼濾波要等速度慢慢修正。估計不準的部分,交給緩衝去補。
軌跡管理則沿用 SORT 的作法。第一幀的所有偵測都成為新軌跡;新軌跡還沒有運動可以估計,直接用記錄下來的框當作目前狀態。每一幀配上的軌跡年齡歸零,沒配上的加一,超過 max_age 就刪除;兩輪配對之後還剩下的偵測,則成為新軌跡。
作者也說明,這只是一個示範 C-BIoU 怎麼用的簡單原型,需要的話可以再加上其他模組。
討論
同一組偵測,MOT17 和 DanceTrack
作者先在 MOT17 和 DanceTrack 的測試集上比較。為了公平,下面幾個方法都用同一組 YOLOX-X 偵測(MOT17 的權重來自 ByteTrack,DanceTrack 的來自 OC-SORT):
| 方法 | MOT17 HOTA | DanceTrack HOTA | DanceTrack AssA | DanceTrack IDF1 |
|---|---|---|---|---|
| DeepSORT | 61.2 | 45.6 | 29.7 | 47.9 |
| SORT | 63.0 | 50.0 | 33.2 | 52.0 |
| ByteTrack | 63.1 | 51.9 | 33.8 | 52.0 |
| OC-SORT | 63.2 | 55.7 | 38.3 | 54.6 |
| C-BIoU | 64.1 | 60.6 | 45.4 | 61.6 |
整理自原論文 Table I,測試集,偵測相同。
MOT17 上,五個方法的 HOTA 只差 3 分。作者引用 DanceTrack 論文的分析:在 MOT17,瓶頸在偵測,不在追蹤。
DanceTrack 上就拉開了。C-BIoU 比 OC-SORT 高 4.9 分 HOTA,衡量關聯的 AssA 從 38.3 到 45.4,IDF1 從 54.6 到 61.6。偵測的 DetA 兩者差不多(81.3 對 81.7),所以差距幾乎都來自關聯。原論文表的上半部列了用其他偵測器的方法,只供參考,其中端到端的 MOTR 是 54.2。
只比追蹤:用真值框
偵測的好壞會干擾比較,所以作者也直接把真值框當作偵測,只比關聯。在 DanceTrack 驗證集、SoccerNet 足球影片和 GMOT-40 上,C-BIoU 的 HOTA 分別是 81.7、89.2、96.4,第二名的 OC-SORT 是 79.1、82.0、92.4。差距從 2.6 到 7.2 分不等,最大的在 SoccerNet。
GMOT-40 是一般物體的多目標追蹤資料集,畫面裡常是一大群長得一樣的同類物體;SoccerNet 是足球轉播畫面,鏡頭會跟著球移動。
作者也提醒,即使用了真值框,三個資料集上的結果都還不完美。用真值框建立基準、專心改進關聯,在目前仍然有意義。
每個零件的貢獻
消融實驗用真值框,先把串接配對和運動估計都拿掉,只比較單次配對時用哪一種相似度:
| 相似度 | DanceTrack | SoccerNet | GMOT-40 |
|---|---|---|---|
| IoU | 76.6 | 81.9 | 93.0 |
| GIoU | 77.1 | 79.8 | 93.4 |
| DIoU | 75.1 | 84.3 | 93.6 |
| BIoU | 80.0 | 87.7 | 96.2 |
| +串接配對 | 80.2 | 88.9 | 96.3 |
| +運動估計 | 81.7 | 89.2 | 96.4 |
整理自原論文 Table IV,HOTA;DanceTrack 為驗證集,另兩者為測試集,偵測都是真值框。
- BIoU 是主要的貢獻。 同樣是單次配對、沒有運動估計,BIoU 在三個資料集都比 IoU 高 3 到 6 分。GIoU 和 DIoU 也能處理不重疊的框,但沒有一致的改善,DIoU 在 DanceTrack 上甚至比 IoU 還低。
- 串接配對在 SoccerNet 上最有用。 加了串接配對,DanceTrack 和 GMOT-40 只多 0.2、0.1 分,SoccerNet 多了 1.2 分。作者的解釋是,足球轉播的鏡頭會移動,讓球員的運動變得極快,這時第二輪的大緩衝才派得上用場。
- 平均位移在 DanceTrack 上幫了 1.5 分。 雖然簡單,有運動估計還是比沒有好,因為緩衝可以補償估計的誤差。
緩衝比例

這張圖要直著看。同一欄裡, 固定、 變化,分數幾乎不動,差距都在 0.3 分以內;換一欄,分數就明顯不同。也就是說,結果主要由第一輪的小緩衝決定: 最好,再大或再小都會下降。
最差的組合是 78.2,仍然比 IoU 的 76.6 高。緩衝比例雖然會影響結果,但只要有加緩衝,就比不加好。
偵測很差的時候
這個方法的限制,作者也自己做實驗找了出來。他們在 DanceTrack 驗證集的真值框上加入雜訊:先按比例刪掉一些框,造成漏檢;再在沒有人的地方加入同樣比例的假框,造成誤報。
| 雜訊比例 | OC-SORT | IoU | C-BIoU |
|---|---|---|---|
| 0% | 79.1 | 76.6 | 81.7 |
| 20% | 61.4 | 57.6 | 62.3 |
| 40% | 28.0 | 38.3 | 29.2 |
整理自原論文 Table V,DanceTrack 驗證集,HOTA。
雜訊在 20% 以內,C-BIoU 仍是最好的。到了 40%,它掉到 29.2,反而比最簡單的 IoU 追蹤器(38.3)低了 9 分;衡量關聯的 AssA 更只剩 14.7,IoU 追蹤器還有 25.0。
作者的解釋是,雜訊少的時候,同一個人的軌跡和偵測只是偶爾幾幀對不上,緩衝剛好能把它們接回來。雜訊多的時候,一個人可能連續很多幀都沒有偵測,不管用 IoU 還是 BIoU 都接不回來;更糟的是,撐大的配對空間會更積極地把軌跡配給附近的假框。
作者認為,在他們關心的資料集上,通常拿得到高品質的偵測,因為大家長得都一樣,反而讓偵測變得容易。這是作者對自己適用範圍的判斷;換到偵測器表現不穩的場景,就要先確認偵測的品質。
速度
拿掉卡爾曼濾波,也讓追蹤本身快了很多。在 Intel Xeon Silver 4216 CPU 上、不含偵測的時間,C-BIoU 在 MOT17 每秒處理 361 幀,DanceTrack 680 幀;OC-SORT 是 185 和 341,SORT 是 144 和 271。作者也提醒,物體越多,追蹤器就越慢。
結論
C-BIoU 的方法一句話就說得完,算 IoU 之前先把框撐大。再加上兩段式的配對和一個把最近幾幀位移平均起來的運動模型,就在 DanceTrack 上比 OC-SORT 高出將近 5 分 HOTA,速度還快了一倍。
從消融看,功勞大部分來自 BIoU 本身,第一輪的緩衝比例最關鍵;串接配對只在鏡頭會動的足球影片上明顯有用。代價是偵測一旦很差,撐大的配對空間會讓追蹤器更容易配上假框。
論文沒有附上程式碼,不過這個想法夠簡單,很容易自己實作。2025 年的一篇多目標追蹤綜述,就把 C-BIoU 列為「關聯前先擴張框」這個作法的代表,並指出後來的 Deep-EIoU 把固定的兩段緩衝,推廣成逐步放大的多段。
緩衝這個詞選得很好。對運動模型說不準的事,留點餘地就行了。