返回論文筆記資料庫
arXiv 2022WACV 2023多目標追蹤論文筆記

C-BIoU

框外有框

原始論文

Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

論文作者

Fan Yang · Shigeyuki Odashima · Shoichi Masui · Shan Jiang

發表版本
WACV 2023會議
arXiv 首次提交
arXiv:2211.14317
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingcbiou2022,
  title = {{Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space}},
  author = {Fan Yang and Shigeyuki Odashima and Shoichi Masui and Shan Jiang},
  year = {2022},
  eprint = {2211.14317},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2211.14317}
}
本頁內容

DanceTrack 出現之後,大家發現同一批追蹤器在 MOT17 上分數都差不多,換到 DanceTrack 就拉開了。舞者穿得一模一樣,外觀特徵派不上用場;動作又快又亂,卡爾曼濾波也常常預測錯。

OC-SORT 選擇修卡爾曼濾波。富士通研究所的 Fan Yang、Shigeyuki Odashima、Shoichi Masui 和 Shan Jiang 走了另一條路,先不管運動模型準不準,把配對的範圍放寬一點。

這篇的論文標題是一個問句:物體的運動不規則、外觀又相似,很難追嗎?那就替配對空間加一點緩衝。這個方法也是他們在 2022 年 SoccerNet 足球追蹤挑戰與 DanceTrack 群舞追蹤挑戰都拿下第二名的主要元件。

定義問題

只用框的位置來關聯,SORT 這一系的追蹤器靠的是 IoU:上一幀的軌跡預測一個框,這一幀的偵測也有一個框,兩個框重疊得越多,越可能是同一個人。

作者推測,追蹤在 DanceTrack 上失敗,主要有兩個原因:

  1. 相鄰兩幀根本不重疊。 舞者一個大動作,同一個人在兩幀之間的框就分開了,IoU 是 0,配不上。
  2. 運動估計錯了,就一直錯下去。 一個人被遮住幾幀,軌跡只能靠運動模型往前推。如果他在這段時間突然加速或轉身,預測的框越推越偏,等他重新出現、偵測框就在眼前,軌跡也配不上了。

外觀特徵本來可以補救這兩種情況,但在舞者穿著一樣的時候行不通。

這兩個問題的共同點,是 IoU 對所有不重疊的框給的分數都是 0。差一點點和差很遠,在 IoU 眼裡沒有分別。

GIoU、DIoU 這類 IoU 的變形,也能替不重疊的框算出分數。作者則提出一個更直接的作法。

解決問題

把框撐大一點

原論文 Fig. 2:上半是一般的 IoU,兩個框 A、B 的重疊面積除以聯集面積。下半是 BIoU,A、B 各自向外加一圈綠色虛線的緩衝區,用加大後的框計算重疊與聯集。最下方說明原框與緩衝框中心相同,原框寬高 w、h,緩衝框寬高 b_w、b_h,緩衝比例 b = (b_w − w) / 2w = (b_h − h) / 2h。
原論文 Fig. 2(Yang 等人),取自 PDF 第 2 頁,arXiv 授權,學術引用。

緩衝 IoU(Buffered IoU,BIoU)的作法,就是在算 IoU 之前,先把兩個框按比例撐大。

一個框寫成左上角座標和寬高 o=(x,y,w,h)o = (x, y, w, h),緩衝比例是 bb,撐大後的框是

ob=(x−bw,  y−bh,  w+2bw,  h+2bh)o_b = (x - bw,\; y - bh,\; w + 2bw,\; h + 2bh)

左右各多 bwbw,上下各多 bhbh。中心不變,長寬比不變,只是變大了。

我們用一個具體的例子算算看。一個舞者的框寬 40、高 100 像素,下一幀他往右跳了 50 像素,兩個框完全沒有重疊,IoU 是 0。

  • b=0.3b = 0.3: 兩個框都變成 64 × 160。中心相距 50,寬度 64,左右重疊了 64−50=1464 - 50 = 14 像素;高度完全對齊,重疊 160 像素。交集 14×160=2,24014 \times 160 = 2{,}240,聯集 2×64×160−2,240=18,2402 \times 64 \times 160 - 2{,}240 = 18{,}240,BIoU 約 0.12。
  • b=0.5b = 0.5: 兩個框都變成 80 × 200,左右重疊 30 像素,交集 6,000,聯集 26,000,BIoU 約 0.23。

原本為 0 的分數,現在有了。

這個分數有兩個作用。一是讓相鄰兩幀不重疊的同一個人能直接配上;二是當運動模型預測得有點偏,撐大的框還能把真正的偵測框罩進來,等於在配對空間裡補償了運動估計的誤差。

和以往的「搜尋視窗」不同,作者不是把放大的框拿來限制搜尋範圍,而是直接拿它來算配對分數。

撐太大也不行

緩衝越大,能救回的人越多,但也越容易配錯人。

延續剛才的例子。假設旁邊還有一個舞者,在 70 像素之外。b=0.3b = 0.3 時,撐大的框寬 64,碰不到 70 像素外的人,BIoU 是 0;b=0.5b = 0.5 時寬 80,就和他重疊了 10 像素,BIoU 約 0.07。緩衝一放大,鄰居也變成了候選人。

所以作者把配對分成兩段:

原論文 Fig. 4:C-BIoU 追蹤器的流程。偵測先和存活的軌跡用小緩衝的 BIoU 配對(例如 b1 = 0.3),配上的軌跡更新狀態;沒配上的軌跡和沒配上的偵測,再用大緩衝的 BIoU 配對一次(例如 b2 = 0.5)。兩段合稱串接配對。之後沒配上的偵測成為新軌跡;沒配上的軌跡年齡加一,超過 max_age 就刪除。狀態更新:新軌跡直接用目前的框,其他軌跡用目前狀態加上最近幾幀的平均位移。
原論文 Fig. 4(Yang 等人),取自 PDF 第 4 頁,arXiv 授權,學術引用。
  1. 先用小緩衝配。 存活的軌跡和這一幀的偵測,用小緩衝 b1b_1 的 BIoU 算分數,再用匈牙利演算法配對。大部分正常移動的人,在這一步就配好了。
  2. 剩下的用大緩衝再配一次。 第一輪沒配上的軌跡和偵測,改用大緩衝 b2b_2 再配一次。這一輪要處理的,是動作特別大、或運動估計偏得比較多的人。

這種「先配有把握的、再配困難的」串接配對,在追蹤領域很常見。ByteTrack 先配高信心的偵測,DeepSORT 先配最近才配過的軌跡;C-BIoU 則是先用比較保守的配對空間,有剩下的才放寬。

兩個緩衝比例怎麼定?作者在訓練集上做網格搜尋。因為 b1<b2b_1 < b_2,組合數量有限,加上這個追蹤器跑得很快,搜尋花的時間可以接受。

不用卡爾曼濾波

C-BIoU 的運動模型簡單得出乎意料,只是把最近幾幀的位移平均起來往前推。

一條軌跡已經連續配上超過 nn 幀,接著有 Δ\Delta 幀沒配上,它的狀態估計為

st+Δ=st+Δn∑i=t−n+1t(oi−oi−1)s_{t+\Delta} = s_t + \frac{\Delta}{n}\sum_{i=t-n+1}^{t}\left(o^{i} - o^{i-1}\right)

這裡的框寫成左上、右下兩個角點 o=(x,y,x+w,y+h)o = (x, y, x + w, y + h)。nn 預設在 2 到 5 之間。

最近 nn 幀的總位移除以 nn,就是平均每幀移動多少,再乘上中間隔了幾幀。舞者突然轉向,這個估計最多兩三幀就跟上了,不像卡爾曼濾波要等速度慢慢修正。估計不準的部分,交給緩衝去補。

軌跡管理則沿用 SORT 的作法。第一幀的所有偵測都成為新軌跡;新軌跡還沒有運動可以估計,直接用記錄下來的框當作目前狀態。每一幀配上的軌跡年齡歸零,沒配上的加一,超過 max_age 就刪除;兩輪配對之後還剩下的偵測,則成為新軌跡。

作者也說明,這只是一個示範 C-BIoU 怎麼用的簡單原型,需要的話可以再加上其他模組。

討論

同一組偵測,MOT17 和 DanceTrack

作者先在 MOT17 和 DanceTrack 的測試集上比較。為了公平,下面幾個方法都用同一組 YOLOX-X 偵測(MOT17 的權重來自 ByteTrack,DanceTrack 的來自 OC-SORT):

方法MOT17 HOTADanceTrack HOTADanceTrack AssADanceTrack IDF1
DeepSORT61.245.629.747.9
SORT63.050.033.252.0
ByteTrack63.151.933.852.0
OC-SORT63.255.738.354.6
C-BIoU64.160.645.461.6

整理自原論文 Table I,測試集,偵測相同。

MOT17 上,五個方法的 HOTA 只差 3 分。作者引用 DanceTrack 論文的分析:在 MOT17,瓶頸在偵測,不在追蹤。

DanceTrack 上就拉開了。C-BIoU 比 OC-SORT 高 4.9 分 HOTA,衡量關聯的 AssA 從 38.3 到 45.4,IDF1 從 54.6 到 61.6。偵測的 DetA 兩者差不多(81.3 對 81.7),所以差距幾乎都來自關聯。原論文表的上半部列了用其他偵測器的方法,只供參考,其中端到端的 MOTR 是 54.2。

只比追蹤:用真值框

偵測的好壞會干擾比較,所以作者也直接把真值框當作偵測,只比關聯。在 DanceTrack 驗證集、SoccerNet 足球影片和 GMOT-40 上,C-BIoU 的 HOTA 分別是 81.7、89.2、96.4,第二名的 OC-SORT 是 79.1、82.0、92.4。差距從 2.6 到 7.2 分不等,最大的在 SoccerNet。

GMOT-40 是一般物體的多目標追蹤資料集,畫面裡常是一大群長得一樣的同類物體;SoccerNet 是足球轉播畫面,鏡頭會跟著球移動。

作者也提醒,即使用了真值框,三個資料集上的結果都還不完美。用真值框建立基準、專心改進關聯,在目前仍然有意義。

每個零件的貢獻

消融實驗用真值框,先把串接配對和運動估計都拿掉,只比較單次配對時用哪一種相似度:

相似度DanceTrackSoccerNetGMOT-40
IoU76.681.993.0
GIoU77.179.893.4
DIoU75.184.393.6
BIoU80.087.796.2
+串接配對80.288.996.3
+運動估計81.789.296.4

整理自原論文 Table IV,HOTA;DanceTrack 為驗證集,另兩者為測試集,偵測都是真值框。

  1. BIoU 是主要的貢獻。 同樣是單次配對、沒有運動估計,BIoU 在三個資料集都比 IoU 高 3 到 6 分。GIoU 和 DIoU 也能處理不重疊的框,但沒有一致的改善,DIoU 在 DanceTrack 上甚至比 IoU 還低。
  2. 串接配對在 SoccerNet 上最有用。 加了串接配對,DanceTrack 和 GMOT-40 只多 0.2、0.1 分,SoccerNet 多了 1.2 分。作者的解釋是,足球轉播的鏡頭會移動,讓球員的運動變得極快,這時第二輪的大緩衝才派得上用場。
  3. 平均位移在 DanceTrack 上幫了 1.5 分。 雖然簡單,有運動估計還是比沒有好,因為緩衝可以補償估計的誤差。

緩衝比例

原論文 Fig. 6:DanceTrack 驗證集上,不同緩衝比例組合的 HOTA。橫軸是小緩衝 b1,縱軸是大緩衝 b2,兩者從 0.1 到 0.7,只取 b1 小於 b2 的下三角。b1 = 0.3、b2 = 0.4 時最高,81.7;b1 = 0.3 那一欄都在 81.4 到 81.7 之間;b1 = 0.6、b2 = 0.7 時最低,78.2。
原論文 Fig. 6(Yang 等人),取自 PDF 第 7 頁,arXiv 授權,學術引用。

這張圖要直著看。同一欄裡,b1b_1 固定、b2b_2 變化,分數幾乎不動,差距都在 0.3 分以內;換一欄,分數就明顯不同。也就是說,結果主要由第一輪的小緩衝決定:b1=0.3b_1 = 0.3 最好,再大或再小都會下降。

最差的組合是 78.2,仍然比 IoU 的 76.6 高。緩衝比例雖然會影響結果,但只要有加緩衝,就比不加好。

偵測很差的時候

這個方法的限制,作者也自己做實驗找了出來。他們在 DanceTrack 驗證集的真值框上加入雜訊:先按比例刪掉一些框,造成漏檢;再在沒有人的地方加入同樣比例的假框,造成誤報。

雜訊比例OC-SORTIoUC-BIoU
0%79.176.681.7
20%61.457.662.3
40%28.038.329.2

整理自原論文 Table V,DanceTrack 驗證集,HOTA。

雜訊在 20% 以內,C-BIoU 仍是最好的。到了 40%,它掉到 29.2,反而比最簡單的 IoU 追蹤器(38.3)低了 9 分;衡量關聯的 AssA 更只剩 14.7,IoU 追蹤器還有 25.0。

作者的解釋是,雜訊少的時候,同一個人的軌跡和偵測只是偶爾幾幀對不上,緩衝剛好能把它們接回來。雜訊多的時候,一個人可能連續很多幀都沒有偵測,不管用 IoU 還是 BIoU 都接不回來;更糟的是,撐大的配對空間會更積極地把軌跡配給附近的假框。

作者認為,在他們關心的資料集上,通常拿得到高品質的偵測,因為大家長得都一樣,反而讓偵測變得容易。這是作者對自己適用範圍的判斷;換到偵測器表現不穩的場景,就要先確認偵測的品質。

速度

拿掉卡爾曼濾波,也讓追蹤本身快了很多。在 Intel Xeon Silver 4216 CPU 上、不含偵測的時間,C-BIoU 在 MOT17 每秒處理 361 幀,DanceTrack 680 幀;OC-SORT 是 185 和 341,SORT 是 144 和 271。作者也提醒,物體越多,追蹤器就越慢。

結論

C-BIoU 的方法一句話就說得完,算 IoU 之前先把框撐大。再加上兩段式的配對和一個把最近幾幀位移平均起來的運動模型,就在 DanceTrack 上比 OC-SORT 高出將近 5 分 HOTA,速度還快了一倍。

從消融看,功勞大部分來自 BIoU 本身,第一輪的緩衝比例最關鍵;串接配對只在鏡頭會動的足球影片上明顯有用。代價是偵測一旦很差,撐大的配對空間會讓追蹤器更容易配上假框。

論文沒有附上程式碼,不過這個想法夠簡單,很容易自己實作。2025 年的一篇多目標追蹤綜述,就把 C-BIoU 列為「關聯前先擴張框」這個作法的代表,並指出後來的 Deep-EIoU 把固定的兩段緩衝,推廣成逐步放大的多段。

緩衝這個詞選得很好。對運動模型說不準的事,留點餘地就行了。