Retour à la bibliothèque
arXiv 2026CVPR 2026Suivi multi-objetsNotes de lecture

OA-SORT

Premier rang, accroupi !

Article original

Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking

Auteurs de l’article

Chunjiang Li · Jianbo Ma · Li Shen · Yanru Chen · Liangyin Chen

Publication
CVPR 2026Conférence
Premier dépôt sur arXiv
arXiv:2603.06034
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{multiobjecttrackingoasort2026,
  title = {{Occlusion-Aware SORT: Observing Occlusion for Robust Multi-Object Tracking}},
  author = {Chunjiang Li and Jianbo Ma and Li Shen and Yanru Chen and Liangyin Chen},
  year = {2026},
  eprint = {2603.06034},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2603.06034}
}
Sur cette page

Deux personnes de même gabarit passent l'une derrière l'autre, et celle de derrière est en grande partie cachée. La boîte que fournit alors le détecteur n'encadre souvent que le petit morceau visible de la personne de derrière, ou dérape carrément sur celle de devant.

Le filtre de Kalman se met ensuite à jour avec ces boîtes imprécises, et sa prédiction dérape à son tour. Au moment de l'appariement, la boîte de détection de la personne de devant peut avoir une IoU plus élevée avec la boîte prédite de la personne de derrière qu'avec sa propre boîte prédite. L'algorithme hongrois ne regarde que le coût, et les deux identités s'échangent.

Chunjiang Li, Yanru Chen et leurs collègues de l'Université du Sichuan appellent ce phénomène confusion des coûts. Ils commencent par calculer « qui cache qui, et dans quelle mesure », puis s'en servent pour corriger l'appariement et le filtre de Kalman. La méthode ne demande aucun entraînement et se greffe directement sur les traqueurs existants.

Définir le problème

L'association par position repose sur trois pièces : le filtre de Kalman prédit la position, l'IoU mesure l'accord entre boîte de détection et boîte prédite, et l'algorithme hongrois trouve l'appariement de coût minimal.

Les auteurs écrivent la boîte de détection et la boîte prédite comme « position réelle plus erreur » :

d=P+Δd,e=P+Δed = P + \Delta_d,\qquad e = P + \Delta_e

En cas d'occultation partielle, il manque un morceau de l'objet, l'erreur de détection Δd\Delta_d grandit, et l'IoU peut sauter brusquement en une ou deux images. Si l'occultation dure, les détections imprécises servent encore et encore à mettre à jour le filtre de Kalman, et l'erreur de prédiction Δe\Delta_e s'accumule à son tour. Les deux erreurs se superposent, et la matrice de coûts ne reflète plus de façon stable qui est qui.

Beaucoup de traqueurs comptent sur les caractéristiques d'apparence, la direction du mouvement ou la confiance de détection pour compenser. Mais ces indices sont tout aussi peu fiables en cas d'occultation ; les caractéristiques d'apparence extraites d'une personne cachée sont mêlées à l'aspect de la personne de devant, et la confiance de détection baisse elle aussi. Les auteurs reviennent donc à la position elle-même et traitent directement l'occultation.

Résoudre le problème

Figure 2 de l'article : le déroulement d'OA-SORT, sur une image de danse de groupe de DanceTrack. À chaque image, le filtre de Kalman produit d'abord les boîtes prédites (Estimations), et OAM, avec une carte gaussienne, calcule le degré d'occultation de chacune (carte de chaleur) ; OAO ajoute le degré d'occultation au coût d'appariement (flèches violettes) ; une fois l'appariement fait, BAM ajuste la mise à jour du filtre de Kalman selon le degré d'occultation de la dernière observation (flèches bleues).
Figure 2 de l'article de Li et al., extraite de la page 3 du PDF, licence arXiv, citation académique.

OA-SORT se compose de trois pièces. OAM estime le degré d'occultation, OAO s'en sert pour l'appariement, et BAM pour la mise à jour du filtre de Kalman.

OAM : qui est devant, et quelle part est cachée ?

Figure 3 de l'article : schéma de l'ordre en profondeur. Le bord inférieur de l'image sert de ligne de référence ; la distance verticale entre le bord inférieur de chaque boîte et cette ligne est notée P̂d. Le bord inférieur de la boîte 1 est plus proche de la ligne de référence que celui de la boîte 2 ; la personne 1 est donc plus près de la caméra et se tient devant la personne 2.
Figure 3 de l'article de Li et al., extraite de la page 4 du PDF, licence arXiv, citation académique.

Pour savoir qui cache qui, il faut d'abord savoir qui est devant. Une caméra de surveillance filme en général en plongée ; pour des personnes debout au sol, plus leurs pieds sont proches du bord inférieur de l'image, plus elles sont proches de la caméra. Il suffit donc de comparer le bord inférieur de deux boîtes pour les ordonner. Pour éviter les erreurs dues au tremblement des boîtes, l'écart entre bords inférieurs doit être d'au moins 5 pixels pour compter.

Une fois l'ordre connu, la proportion cachée est « l'aire d'intersection avec toutes les boîtes situées devant » divisée par « l'aire de la boîte elle-même » :

Oci=A(Oi)A(Di)Oc_i = \frac{A(\mathcal{O}_i)}{A(\mathcal{D}_i)}

Mais une boîte ne contient pas que la personne. Quand un danseur écarte les bras ou fait un grand pas, les bords de la boîte sont surtout du fond, et ce qui est caché sur les bords compte peu. Les auteurs ajoutent une carte gaussienne qui pondère chaque pixel selon sa distance au centre de la boîte, avec 1 au centre et une décroissance vers l'extérieur. L'aire cachée devient une somme pondérée.

La vitesse de décroissance se règle selon le jeu de données. Avec le réglage de DanceTrack, le poids aux bords gauche et droit de la boîte n'est que de e−2.25≈0.105e^{-2.25} \approx 0.105. Une même bande cachée compte, sur le bord, environ un dixième de ce qu'elle compterait au centre.

OAO : à l'appariement, qui est caché cède le passage

OAO ajoute le degré d'occultation au score d'appariement :

S=τ(1−Oc^X)+(1−τ) IoU(D,X)S = \tau\left(1 - \hat{Oc}^{X}\right) + (1 - \tau)\, IoU(D, X)

Le degré d'occultation est calculé ici sur la boîte prédite XX du filtre de Kalman, et non sur la boîte de détection. Le bord inférieur d'une boîte de détection occultée saute souvent dans tous les sens, ce qui fausse justement l'ordre devant-derrière ; la boîte prédite est plus lisse.

Plus une trajectoire est cachée, plus ses scores face à toutes les boîtes de détection subissent une décote. Quand deux trajectoires se disputent la même boîte de détection, celle qui est devant, non cachée, a l'avantage.

Prenons un exemple. Le danseur j se tient devant, et le danseur i, derrière, est caché à 60 %. Dans l'image courante, la boîte de détection de j est djd_j ; son IoU avec la boîte prédite de i est de 0.70, et de seulement 0.65 avec la boîte prédite de j, parce que la prédiction de j a déjà été déviée par les erreurs des images précédentes. On prend pour τ\tau la valeur 0.15 de DanceTrack :

Boîte préditeOccultationIoUIoU seuleScore avec occultation
i (derrière)0.60.700.700.15 × 0.4 + 0.85 × 0.70 = 0.655
j (devant)00.650.650.15 × 1 + 0.85 × 0.65 ≈ 0.703

Exemple de calcul établi pour cette note.

Avec l'IoU seule, djd_j serait attribuée à i, derrière, et les deux identités s'échangeraient. Avec le degré d'occultation, djd_j revient à j.

OAO ne s'applique qu'à la première étape, l'appariement des boîtes de détection à score élevé.

BAM : écouter un peu moins les observations peu fiables

Une personne cachée a en général un score de détection plutôt bas, et n'est appariée qu'à la deuxième étape. Ces boîtes à faible score sont peu précises ; si le filtre de Kalman les prend telles quelles, l'estimation de la vitesse est déviée, et la prédiction de l'image suivante se trompe à son tour.

Avant la mise à jour, BAM ramène l'observation un peu vers la prédiction :

BAM=IoU(Xt∣t−1,Zt)⋅(1−Oc^Zt−1)Z^t=BAM⋅Zt+(1−BAM)⋅HXt∣t−1\begin{aligned} \mathrm{BAM} &= IoU\left(X_{t|t-1}, Z_t\right)\cdot\left(1 - \hat{Oc}^{Z_{t-1}}\right) \\ \hat{Z}_t &= \mathrm{BAM}\cdot Z_t + (1 - \mathrm{BAM})\cdot H X_{t|t-1} \end{aligned}

Plus l'observation s'écarte de la prédiction, ou plus la trajectoire était cachée lors de la dernière observation, plus BAM est petit, et plus la mise à jour fait confiance à la prédiction. Les auteurs montrent en annexe que cela revient à multiplier le gain de Kalman par BAM, sans avoir à estimer séparément la covariance du bruit sous occultation.

Par exemple, si la coordonnée xx prédite vaut 100, que la boîte de détection à faible score est à 120, avec une IoU de 0.5 entre les deux, et que la trajectoire était cachée à 60 % lors de la dernière observation, BAM vaut 0.5×0.4=0.20.5 \times 0.4 = 0.2, et l'observation utilisée pour la mise à jour devient 0.2×120+0.8×100=1040.2 \times 120 + 0.8 \times 100 = 104.

Discussion

L'apport de chaque pièce

ConfigurationHOTAAssAIDF1Temps/image
Hybrid-SORT59.444.960.79.57 ms
+ OAO59.945.660.9+1.96 ms
+ OAO, carte gaussienne60.646.762.0+9.25 ms
+ OAO, BAM60.546.562.2+3.81 ms
Tout61.548.063.7+14.99 ms

D'après la Table 4 de l'article, ensemble de validation de DanceTrack ; temps hors détection.

Les trois pièces réunies ajoutent 2.1 points de HOTA. La carte gaussienne pèse lourd ; ajoutée à OAO, elle fait passer le HOTA de 59.9 à 60.6. C'est aussi elle qui coûte le plus ; le calcul pixel par pixel fait passer le temps de suivi par image de 9.57 à 24.56 millisecondes, ce qui reste compatible avec le temps réel.

Le terme d'IoU de BAM a lui aussi son utilité. Si on le remplace par une constante, la meilleure valeur est 0.4, avec un HOTA de 61.26 ; avec l'IoU, on obtient 61.49.

Greffé sur d'autres traqueurs

TraqueurHOTA avantAprèsIDF1 avantAprès
ByteTrack47.149.051.955.9
OC-SORT54.656.554.657.6
SparseTrack55.557.858.360.2
PD-SORT58.260.457.560.8
Hybrid-SORT62.263.163.064.2

D'après la Table 1 de l'article, ensemble de test de DanceTrack, avec les détections d'OC-SORT ; « Après » : avec la prise en compte de l'occultation.

Sur les quatre traqueurs ajoutés, le HOTA gagne en moyenne 2.08 points et l'IDF1 3.05. SparseTrack et PD-SORT utilisent déjà une « pseudo-profondeur » estimée à partir du bord inférieur des boîtes, et progressent pourtant avec la prise en compte de l'occultation. Hybrid-SORT, la base, progresse le moins ; il traite déjà l'occultation par la direction du mouvement, et ne gagne que 0.9.

Sur l'ensemble de validation, les auteurs l'ont aussi greffé sur TrackTrack ; le HOTA passe de 59.3 à 59.9, l'IDF1 de 61.1 à 62.0. TrackTrack n'apparie pas avec l'algorithme hongrois et utilise aussi les boîtes supprimées par la NMS ; OA-SORT s'y superpose tout de même.

Autres jeux de données

Sur SportsMOT, avec un détecteur entraîné sur le seul ensemble d'entraînement, le HOTA passe de 73.0 à 73.4 et l'IDF1 de 73.3 à 74.1, sans aucune compensation du mouvement de caméra. Selon les auteurs, les relations d'occultation sont des positions relatives entre objets, qui restent valables quand la caméra tourne.

Sur MOT17, le HOTA passe de 63.6 à 64.2 et l'IDF1 de 78.4 à 79.1, un peu au-dessus même de Hybrid-SORT avec ReID. Le MOTA, en revanche, tombe de 80.6 à 79.6.

Quand ça ne marche plus

Figure 1 de l'article : le gain de HOTA d'OA-SORT par rapport à Hybrid-SORT sur chaque vidéo de l'ensemble de validation de DanceTrack (ligne bleue), les barres rouges indiquant la sévérité de l'occultation. En haut, les huit vidéos les moins occultées (sévérité inférieure à 5 %), avec un gain moyen de 2.4 %, la vidéo 0026 étant négative ; en bas, les cinq vidéos les plus occultées (au-dessus de 15 %), avec un gain moyen de 2.14 %.
Figure 1 de l'article de Li et al., extraite de la page 1 du PDF, licence arXiv, citation académique.

La plupart des vidéos progressent, mais la vidéo 0026, en haut, est négative. Les auteurs notent dans les limites que toute la méthode juge l'ordre devant-derrière à partir du bord inférieur des boîtes ; quand le bas du corps d'une personne est caché, ou qu'un danseur saute et quitte le sol, le bord inférieur ne dit plus où la personne se tient, et l'ordre est mal jugé.

Par ailleurs, le degré d'occultation ne regarde que l'image courante, sans modéliser l'évolution de l'occultation dans le temps ; les longues occultations rendent toujours l'association instable.

Conclusion

L'occultation est la principale cause d'erreur de l'association par position, et OA-SORT commence par la mesurer. Le bord inférieur des boîtes ordonne les personnes d'avant en arrière, l'aire d'intersection et la pondération gaussienne mesurent la part cachée, et ce chiffre entre ensuite à la fois dans le score d'appariement et dans la mise à jour du filtre de Kalman.

La méthode ne demande ni entraînement ni caractéristiques d'apparence, et greffée sur cinq traqueurs différents, elle fait progresser HOTA et IDF1. En contrepartie, tout repose sur une hypothèse, celle des « pieds au sol » ; dès qu'un danseur saute sur scène, elle ne vaut plus rien.