返回論文筆記資料庫
arXiv 2026多目標追蹤論文筆記

PLANET

維度打擊

原始論文

Beyond the Image Plane: World-Grounded Queries for Multi-Object Tracking

論文作者

Orcun Cetintas · Guillem Brasó · Tim Meinhardt · Laura Leal-Taixé

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2609.00924
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{multiobjecttrackingplanet2026,
  title = {{Beyond the Image Plane: World-Grounded Queries for Multi-Object Tracking}},
  author = {Orcun Cetintas and Guillem Brasó and Tim Meinhardt and Laura Leal-Taixé},
  year = {2026},
  eprint = {2609.00924},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2609.00924}
}
本頁內容

攝影機把立體的世界拍成平面的畫面。前後站著的兩個人,在畫面上疊在一起;一個人朝鏡頭走來,在畫面上只是框變大了一點。深度、前後、真正的移動方向,都在投影時被壓扁了。

追蹤器看到的,也只有這個平面。不論是比外觀、比框的重疊,還是預測框的移動,全部在影像平面上進行,也就一併繼承了這些歧義。

這一兩年,VGGT、Depth Anything 3 這類幾何基礎模型,已經能從一段普通影片直接估出整個場景的立體結構和相機參數。SUSHI、NOOUGAT 的作者群(Orcun Cetintas、Guillem Brasó、Tim Meinhardt、Laura Leal-Taixé)想試試看,把這些估出來的 3D 資訊放進追蹤器,會不會讓它看得更清楚。

定義問題

把 3D 資訊用在追蹤,其實早有人做過。有的方法估計行人的可見程度來推理遮擋,有的把軌跡轉到世界座標,有的用 3D 人體模型。也有方法在卡爾曼濾波裡加入深度約束,或在鳥瞰圖上預測軌跡。

作者指出,這些做法裡的 3D 資訊要嘛綁定特定類別,例如只適用於行人;要嘛在物體表示已經形成之後,才在關聯階段當作額外的規則或成本加進去。追蹤器內部的物體表示,仍然只有 2D。

另一個問題是時間。用查詢追蹤的端到端方法,訓練時通常只看 2 到 10 幀,推論時能回頭看的範圍也有限;PLANET 所依據的 MOTIP,可以看過去 30 幀,在一般的影片裡只有一兩秒。被擋得更久的人,就超出了它的記憶。

PLANET 要做的,是讓 3D 資訊在查詢形成的時候就進來,並讓這些資訊在更長的時間範圍內都用得上。

解決問題

先把資料集變成 3D

原論文 Figure 1:把 2D 追蹤資料集提升到 3D。原本的資料集只有 RGB 影片和 2D 標註;經過視覺幾何模型,得到點雲圖和相機參數;再依此為每個 2D 框建立 3D 標籤。最後得到的資料包含 RGB、2D 框、ID、點雲圖、相機參數和 3D 標籤。
原論文 Figure 1(Cetintas 等人),取自 PDF 第 3 頁,CC BY 4.0。

DanceTrack、SportsMOT、BFT 這些資料集,都只有 2D 的框。第一步是把它們變成 3D。

作者用 Depth Anything 3 的長序列版本處理整段影片:以彼此重疊的時間窗估計深度和相機參數,再用迴圈閉合限制長時間累積的漂移。估出來的深度和相機參數反投影之後,每一幀的每個像素都對應到世界座標裡的一個點,這叫做點雲圖。

點雲圖是整個場景的,還不知道哪些點屬於哪個人。作者為每個標註的 2D 框,取框內點雲的平均位置,當作這個物體的 3D 中心:

  1. 完全沒被擋住的框,直接採用。
  2. 被擋住的框,框內混著前景和背景,作者綜合前後幀的深度、這一幀的深度和框在畫面上的位置,保守地判斷哪一部分才是這個物體。
  3. 沿著同一條軌跡檢查前後是否一致。還是拿不準的,就標成無效,不拿來訓練。

這些 3D 中心只有位置,沒有物體的大小和朝向,是估計出來的「偽標籤」。

讓查詢在形成時就看到 3D

原論文 Figure 2:PLANET 的架構。上方是 RGB 影片經過骨幹網路得到 2D 特徵,搭配 2D 位置編碼;下方是點雲圖經過位置頭和特徵頭,得到幾何位置嵌入和幾何特徵(綠色,幾何查詢提升)。兩者一起進入 Transformer,產生世界錨定的查詢。右上是偵測:2D 參考點錨定出 3D 參考點,分別由 2D 和 3D 預測頭輸出框和 3D 位置(藍色,錨定 3D 定位)。右下是 ID 預測:雙解析度記憶(紅色)包含稀疏的長期記憶和稠密的短期記憶。
原論文 Figure 2(Cetintas 等人),取自 PDF 第 4 頁,CC BY 4.0。

PLANET 建立在 MOTIP 上。MOTIP 的特點是偵測和身分預測共用同一組查詢:每個查詢既要輸出框,也要預測這個框屬於哪個 ID。所以只要讓查詢包含 3D 資訊,偵測和關聯兩邊都受益。

作者用兩個做法把 3D 帶進查詢。

幾何查詢提升。 點雲圖經過兩個可學的小網路。一個產生幾何特徵,直接加到骨幹網路的影像特徵上;另一個產生幾何位置嵌入,和原本的 2D 位置編碼串接後再融合。Transformer 在更新查詢時,看到的特徵和位置都帶有場景的立體結構。

錨定的 3D 定位。 Deformable DETR 的每個查詢都有一個 2D 參考點,用來引導框的預測。作者把這個 2D 參考點,透過點雲圖提升成對應的 3D 參考點,再讓一個小的 3D 預測頭從查詢預測一個殘差,修正出物體的 3D 中心。這個預測用前面建立的 3D 偽標籤監督,是一個輔助任務。

輔助任務的目的,是逼查詢把物體在立體空間中的位置記在自己身上。兩個人在畫面上重疊,但一個在前、一個在後,它們的查詢就應該帶著不同的 3D 位置。

為什麼要「錨定」在 2D 參考點上,而不是另外學一個獨立的 3D 參考點?因為骨幹網路和偵測器已經在大量 2D 資料上學到很好的定位能力。從 2D 參考點出發,3D 定位只需要學一個修正量,不必從頭學起。

雙解析度記憶:用同樣的位子看更遠

3D 資訊能幫忙認回被擋住的人,前提是追蹤器還記得這個人。PLANET 的第三個設計,是在不增加記憶容量的情況下,拉長能回頭看的時間。

做法是把記憶分成兩半。一半留給最近的連續幾幀,保留短時間內的細節;另一半留給更早的歷史,每隔幾幀才取一幀。訓練時也隨機改變取樣的間隔,讓模型習慣看到間隔不一的過去。

論文沒有給出具體的容量和間隔,只說可見範圍從 MOTIP 的 30 幀延長到大約 200 幀。我們用一組假設的數字感受一下:

做法記憶位子最近的連續幀更早的取樣能看到多遠
全部連續3030—30 幀
雙解析度301515 個,每 12 幀取 1 個15 + 15 × 12 = 195 幀

本文整理的算例;容量 30 與 MOTIP 的 30 幀相同,取樣間隔 12 為假設值。

記憶裡存的是偵測器最後輸出的查詢,已經帶有 3D 資訊,所以這段延長的記憶也一併保存了立體的線索。這個改動不需要額外的訓練時間。

討論

每個設計的貢獻

設定HOTAAssADetAIDF1
MOTIP 基準63.053.275.066.6
+幾何查詢提升64.054.375.967.6
+錨定的 3D 定位64.454.976.167.8
+雙解析度記憶65.656.976.170.3

整理自原論文 Table 1;每個設定訓練 5 次取平均。

幾何查詢提升讓偵測和關聯都進步,DetA 和 AssA 各多了約 1 分。錨定的 3D 定位主要幫關聯,AssA 多 0.6、DetA 只多 0.2。雙解析度記憶則完全作用在關聯上,DetA 沒動,AssA 多了 2 分,IDF1 多了 2.5。

作者還檢查了記憶和 3D 的交互作用。同樣加上雙解析度記憶,只有 2D 的模型 IDF1 多 1.5;有 3D 的模型多 2.5。立體的線索比較穩定,記得越久越有用。

3D 要怎麼放進去

做法HOTAAssAIDF1
MOTIP 基準63.053.266.6
直接融合 Depth Anything 3 的特徵63.153.166.6
世界錨定查詢64.454.967.8

整理自原論文 Table 4。

最直覺的做法,是把 3D 基礎模型的特徵直接接進追蹤器。結果幾乎沒有幫助,HOTA 只多 0.1,AssA 和 IDF1 沒有進步。那些特徵是為了估計幾何而訓練的,追蹤器不知道該怎麼用。

另一組對照在 3D 定位上。同樣的 3D 監督,如果讓 3D 預測頭用一個獨立學出來的 3D 參考點,HOTA 反而從 64.0 掉到 63.8;錨定在 2D 參考點上,才升到 64.4。

3D 資訊本身有用,但要讓它在查詢形成時有明確的位置、在訓練目標裡有明確的任務,追蹤器才用得上。

三個資料集

資料集MOTIPPLANETAssA:MOTIP → PLANET
DanceTrack69.672.160.4 → 63.9
SportsMOT72.673.763.2 → 63.2
BFT70.572.671.8 → 73.9

HOTA;DanceTrack 整理自原論文 Table 5,SportsMOT 整理自原論文 Table 6,BFT 整理自原論文 Table 7,皆為測試集。

三個資料集都是第一,而且每個資料集只用它自己的訓練資料,沒有用 CrowdHuman 這類額外資料。比較表裡有些方法用了額外資料。

DanceTrack 上進步最多,關聯的 AssA 多了 3.5,IDF1 從 74.7 到 78.0。舞者穿得一樣、不停交錯,正是平面上最容易混淆的場景。SportsMOT 上,AssA 和 MOTIP 一樣是 63.2,進步全在偵測:DetA 從 83.5 到 86.0,MOTA 從 92.4 到 95.2。

同一群作者一年前的 NOOUGAT,在 DanceTrack 上離線版本的 HOTA 是 68.4,不在這篇的比較表裡。兩者走的路線不同:NOOUGAT 用現成的偵測器、專注在學關聯;PLANET 是端到端的,偵測和關聯一起受益於 3D。

還沒交代的事

這是一篇剛上 arXiv 的論文,還沒有發表處,程式和 3D 化的資料集都說要等論文被接受後才釋出。

論文沒有限制的章節,有幾件事讀者可能會想知道。推論時,PLANET 需要每一幀的點雲圖,也就是要先跑一次 Depth Anything 3。論文報告的速度是 FP32 每秒 12 幀、FP16 每秒 20 幀,和 MOTIP 相當,但沒有說明是否包含這一步的時間。3D 偽標籤的品質也取決於幾何模型,論文說明了如何過濾不確定的標籤,但沒有評估這些標籤有多準。另外,消融實驗用的是哪個資料集的哪個切分,論文也沒有明講。

結論

既然現在可以從普通影片估出場景的立體結構,PLANET 就試著把它放進追蹤器裡。

做法上有三個重點。先把現有的 2D 資料集提升成 3D,得到點雲圖和每個框的 3D 中心。再讓 3D 資訊在查詢形成時就進來,並用一個錨定在 2D 參考點上的輔助任務,逼查詢記住物體的立體位置。最後用雙解析度記憶,在同樣的容量下把能回頭看的時間拉長到大約 200 幀。

消融裡最有意思的一組對照,是直接接上 3D 基礎模型的特徵幾乎沒用。3D 資訊要放在追蹤器真正會用到的地方,才能發揮作用。