Retour à la bibliothèque
CVPR Workshops 2023Vision pour le commerce de détailNotes de lecture

CheckSORT

Une trajectoire qui tient bon

Article original

CheckSORT: Refined Synthetic Data Combination and Optimized SORT for Automatic Retail Checkout

Auteurs de l’article

Ziqiang Shi · Zhongling Liu · Liu Liu …

Afficher les 7 auteurs

Ziqiang Shi · Zhongling Liu · Liu Liu · Rujie Liu · Takuma Yamamoto · Xiaoyu Mi · Daisuke Uchida

Publication
CVPR Workshops 2023Atelier (workshop)
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@inproceedings{retailproductchecksort2023,
  title = {{CheckSORT: Refined Synthetic Data Combination and Optimized SORT for Automatic Retail Checkout}},
  author = {Ziqiang Shi and Zhongling Liu and Liu Liu and Rujie Liu and Takuma Yamamoto and Xiaoyu Mi and Daisuke Uchida},
  year = {2023},
  booktitle = {CVPR Workshops},
  url = {https://openaccess.thecvf.com/content/CVPR2023W/AICity/html/Shi_CheckSORT_Refined_Synthetic_Data_Combination_and_Optimized_SORT_for_Automatic_CVPRW_2023_paper.html}
}
Sur cette page

Vous vous souvenez du système DeepACO, présenté pour la piste 4 de l'AI City Challenge 2022 ?

Cet article porte sur l'équipe gagnante de l'édition 2023. Poursuivons.

Définir le problème

Les caisses automatiques se répandent dans le commerce. Magasins sans personnel et enseignes classiques en transition numérique cherchent à reconnaître vite et précisément les produits et leur nombre, sans interrompre le parcours du client.

En vision par ordinateur, la tâche prend généralement la forme d'un système à plusieurs modules combinant détection, classification et comptage de produits de diverses catégories.

À première vue, il suffirait d'assembler des techniques existantes de détection, de suivi et de classification.

Mais dès qu'on essaie de le faire, les difficultés s'accumulent.

Un système de caisse automatique fondé sur la vidéo comporte au moins cinq modules :

  1. Prétraitement : comment produire, à partir de données synthétiques propres, des exemples d'entraînement plus proches des prises de vue réelles ?
  2. Détection : comment localiser produits et mains, et obtenir les masques nécessaires à la suite du traitement ?
  3. Suivi : comment suivre des trajectoires courtes de produits qui peuvent se chevaucher ?
  4. Classification : comment mieux reconnaître les articles malgré les variations de point de vue, d'occultation et d'éclairage ?
  5. Post-traitement : comment rassembler les résultats provisoires de plusieurs images vidéo en une liste finale d'articles ?

Pour les auteurs, chaque partie doit être conçue avec soin afin de répondre aux besoins d'un déploiement réel.

Résoudre le problème

Dans une caisse automatique, la difficulté la plus grande est peut-être d'obtenir des données d'entraînement représentatives : il faut filmer sur place, puis annoter manuellement les images une à une.

Les auteurs commencent donc par améliorer les données synthétiques et proposent une procédure de composition paramétrable pour produire de nombreuses images variées.

Optimisation des données synthétiques

Les participants reçoivent des vues synthétiques propres et des masques pour chaque produit. Ils créent ensuite des fonds et y composent les articles pour fabriquer leurs images d'entraînement.

Cela paraît simple, mais les résultats du concours montrent que cette étape peut peser lourd dans la réussite.

La manière de combiner les produits et le fond influe directement sur les performances du modèle. Pour rendre les compositions plus réalistes et plus diverses, les auteurs règlent trois paramètres principaux :

  • Nombre de produits (number of products) ;
  • Degré d'occultation (occlusion / IoU) ;
  • Échelle des produits (scaling size).

Ces paramètres interagissent : ajouter trop d'articles accroît leur chevauchement, tandis qu'une échelle trop petite peut déformer l'exemple.

L'utilisateur peut donc définir des plages de valeurs, par exemple :

  • Nombre de produits : de 1 à 6 ;
  • Chevauchement maximal : IoU ≤ 0,3 ;
  • Échelle : de 0,15 à 0,5.

La combinaison systématique de ces réglages produit un grand nombre d'images synthétiques variées.

Les auteurs comparent ensuite plusieurs seuils d'IoU et plages d'échelle ; nous reviendrons sur les meilleurs réglages observés et leurs conditions dans les tableaux de résultats.

Ils étudient aussi la provenance du fond.

Malgré l'interdiction officielle d'utiliser des données externes, les auteurs composent également des produits sur des photographies de fond dans les limites permises. Dans les configurations testées par l'article, ces fonds réels obtiennent un F1 plus élevé.

La conclusion qui correspond aux expériences est donc :

Dans les configurations testées pour cette tâche de caisse, les fonds photographiques aident davantage que les fonds synthétiques employés dans l'expérience.

Ces données servent à entraîner deux grands modèles :

  1. Détection des produits (Detection) : ajustement d'un modèle DetectoRS préentraîné sur COCO. Il combine détection et segmentation, localise les produits et fournit aussi des masques de mains.
  2. Classification des produits (Classification) : extraction, depuis les compositions, de vues de produits sur des fonds variés pour ajuster le classificateur.

Architecture du modèle

CheckSORT prolonge DeepSORT et StrongSORT. Voici leurs articles :

Les auteurs apportent deux améliorations au suivi :

  1. Filtre de Kalman décomposé (Decomposed Kalman Filter) ;
  2. Gestion dynamique de la galerie des caractéristiques de trajectoire (Dynamic EMA Tracklet Gallery).

Rappel de l'algorithme SORT

SORT, DeepSORT et StrongSORT reposent sur le tracking-by-detection : à chaque image, ils reçoivent les détections d'objets et en déduisent des trajectoires de produits.

Le système initialise une trajectoire (tracklet) à partir de chaque boîte détectée, puis utilise un filtre de Kalman pour prédire sa prochaine position. Chaque trajectoire passe par trois états selon les associations obtenues :

  • tentative : trajectoire nouvellement créée ;
  • confirmed : confirmée après plusieurs images consécutives correctement associées ;
  • deleted : supprimée après une période sans association.

Chaque image est traitée en trois étapes :

  1. Prédiction : la trajectoire passée sert à estimer la position et l'incertitude de la boîte dans l'image courante.
  2. Association : on associe d'abord les trajectoires confirmées à l'aide de la distance cosinus d'apparence et de l'algorithme hongrois ; la distance de Mahalanobis entre les prédictions de Kalman et les détections traite ensuite les trajectoires provisoires ou encore sans correspondance.
  3. Mise à jour : l'état des trajectoires est actualisé selon les deux étapes d'association.

Filtre de Kalman décomposé

Un filtre de Kalman classique représente l'état d'une boîte par :

x=[x,y,a,h,x˙,y˙,a˙,h˙]\mathbf{x} = [x, y, a, h, \dot{x}, \dot{y}, \dot{a}, \dot{h}]

où :

  • (x,y)(x, y) est le centre ;
  • aa est le rapport largeur/hauteur (aspect ratio) ;
  • hh est la hauteur ;
  • «  ˙\dot{\ } » indique la dérivée, donc la vitesse de variation.

Or le déplacement du centre (x,y)(x, y) et la déformation apparente (a,h)(a, h) suivent des dynamiques très différentes, comme le montre la figure :

  • Courbe orange : la distance entre le centre du produit et l'origine varie avec le temps de façon relativement régulière ;
  • Courbe rouge : lors d'un retournement, (a,h)(a, h) peut changer brusquement.

Les auteurs proposent donc un filtre de Kalman décomposé (Decomposed Kalman Filter, DKF), avec deux calculs indépendants :

  • Vecteur de position :

    p=[x,y,x˙,y˙]\mathbf{p} = [x, y, \dot{x}, \dot{y}]
  • Vecteur de forme :

    b=[a,h,a˙,h˙]\mathbf{b} = [a, h, \dot{a}, \dot{h}]

Ils utilisent la même matrice de transition AA et la même matrice d'observation HH :

A=[1010010100100001],H=[10000100]A = \begin{bmatrix} 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix}, \quad H = \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \end{bmatrix}

Pour construire la matrice des distances, l'observation de position de la détection jj, zj(p)=(xj,yj)\mathbf{z}^{(p)}_j=(x_j,y_j), et son observation de forme zj(b)=(aj,hj)\mathbf{z}^{(b)}_j=(a_j,h_j) sont comparées séparément aux prédictions de la trajectoire ii projetées dans l'espace d'observation. PiP_i et BiB_i sont les matrices de covariance projetées correspondantes :

  • Distance de position :

    d(p)(i,j)=(zj(p)−z^i(p))⊤Pi−1(zj(p)−z^i(p))d^{(p)}(i,j) = (\mathbf{z}^{(p)}_j - \hat{\mathbf{z}}^{(p)}_i)^\top P_i^{-1} (\mathbf{z}^{(p)}_j - \hat{\mathbf{z}}^{(p)}_i)
  • Distance de forme :

    d(b)(i,j)=(zj(b)−z^i(b))⊤Bi−1(zj(b)−z^i(b))d^{(b)}(i,j) = (\mathbf{z}^{(b)}_j - \hat{\mathbf{z}}^{(b)}_i)^\top B_i^{-1} (\mathbf{z}^{(b)}_j - \hat{\mathbf{z}}^{(b)}_i)

Galerie dynamique des caractéristiques

Depuis DeepSORT, l'association des trajectoires utilise aussi les caractéristiques d'apparence, au-delà de la seule position.

CheckSORT affine cette idée :

  • StrongSORT lisse les caractéristiques d'apparence d'une trajectoire par EMA ;
  • CheckSORT entretient une galerie dynamique et non continue et n'ajoute une nouvelle caractéristique que si elle diffère suffisamment de celles déjà conservées.

Les définitions :

  • Chaque trajectoire ii possède une galerie de caractéristiques :

    Ei={eit},t=1…LiE_i = \{e^t_i\}, \quad t = 1 \ldots L_i
  • La nouvelle caractéristique EMA n'y est ajoutée que si elle se distingue assez de celles de EiE_i ;

  • La distance d'apparence est :

    d(a)(i,j)=min⁡{1−ejT⋅eit∣eit∈Ei}d^{(a)}(i,j) = \min \{ 1 - e^T_j \cdot e^t_i \mid e^t_i \in E_i \}

Le coût final combine les trois signaux, avec des poids réglant leur importance :

c(i,j)=λp⋅d(p)(i,j)+λb⋅d(b)(i,j)+λa⋅d(a)(i,j)c(i,j) = \lambda_p \cdot d^{(p)}(i,j) + \lambda_b \cdot d^{(b)}(i,j) + \lambda_a \cdot d^{(a)}(i,j)

L'algorithme hongrois peut ainsi rechercher la meilleure association en tenant compte de la position, de la forme et de l'apparence.

Optimisation du post-traitement

Même après l'association, CheckSORT « corrige » les trajectoires pour trois erreurs fréquentes :

  1. Trajectoire trop courte ou classée comme fond → suppression ;
  2. Interruption de plus de 0,5 seconde au milieu de la trajectoire → séparation en deux ;
  3. Plusieurs trajectoires de même catégorie, espacées de moins de 3 secondes → fusion.

Cette partie relève toutefois de règles empiriques et ne constitue pas l'apport central de l'article.

La figure montre la différence de reconnaissance avant et après post-traitement :

Discussion

Les auteurs notent une différence entre la piste 4 de l'AI City Challenge 2023 et celle de l'année précédente : en 2023, il faut prédire la première image vidéo où le produit apparaît, alors qu'en 2022 on demandait la seconde de son apparition.

Ils souhaitaient évaluer directement l'algorithme sur le test 2023, mais ce jeu n'était pas accompagné de vérité terrain. Ils ont donc annoté manuellement les instants d'apparition des produits, en secondes, dans TestA 2022 et TestA 2023, afin de disposer d'une évaluation de remplacement.

Comme en 2022, la mesure est le score F1 :

  • TP (True Positive) : objet correctement reconnu dans la zone d'intérêt ;
  • FN (False Negative) : objet annoté que le système n'a pas correctement reconnu.

Le concours fournit aussi 116 500 images synthétiques et 116 modèles 3D de produits.

Effet des données synthétiques

Performances sur TestA 2022 selon la limite d'IoU

Performances sur TestA 2023 selon la limite d'IoU

Les auteurs font varier deux paramètres : la limite supérieure d'IoU et la plage d'échelle. En fixant l'échelle entre 0,15 et 0,5, ils observent les résultats selon la limite d'IoU, présentés ci-dessus.

Sur les deux jeux, une limite d'IoU de 0,25 donne le meilleur F1 des valeurs du tableau (58,6 % et 51,0 %). Mais les valeurs intermédiaires ne croissent pas de façon monotone : les résultats indiquent l'intérêt de conserver un certain chevauchement dans la plage étudiée, sans montrer que davantage d'occultation est toujours préférable. Le tracker reste DeepSORT.

Ils fixent ensuite la limite d'IoU à 0,1 et font varier les plages d'échelle :

Performances sur TestA 2022 selon la plage d'échelle

Performances sur TestA 2023 selon la plage d'échelle

Parmi ces trois plages, celle dont la borne supérieure est 0,55 obtient le meilleur F1 sur les deux jeux (58,2 % et 50,2 %), toujours avec DeepSORT.

  • Une échelle trop grande laisse trop peu d'exemples ;
  • Une échelle trop petite s'éloigne de la situation réelle et nuit à la généralisation.

Fonds synthétiques et réels

À partir des réglages retenus, les auteurs comparent les fonds synthétiques aux photographies réelles.

Les deux configurations sont évaluées sur TestA 2022 et TestA 2023 :

Résultats sous IoU ≤ 0,5 et échelle de 0,4 à 0,8

Résultats sous IoU ≤ 0,5 et échelle de 0,3 à 0,75

Dans les deux jeux et les deux configurations du tableau, les fonds réels augmentent le F1. Ainsi, pour TestA 2022 avec « IoU ≤ 0,5 ; échelle 0,4 à 0,8 », il passe de 60,7 % à 69,0 %, soit 8,3 points de pourcentage. Pour TestA 2023, sous la même configuration, il passe de 53,7 % à 54,9 %. Le tracker est encore DeepSORT.

Résultats de CheckSORT

Comparaison sous IoU ≤ 0,5 et échelle de 0,3 à 0,75

Comparaison sous IoU ≤ 0,5 et échelle de 0,4 à 0,8

Enfin, les auteurs comparent DeepSORT, StrongSORT et leur CheckSORT dans différentes situations.

Pour les deux configurations de synthèse et les deux jeux du tableau, CheckSORT obtient un F1 supérieur aux deux autres. Par exemple, avec une échelle de 0,3 à 0,75, TestA 2022 donne 70,3 % / 69,0 % / 67,8 % et TestA 2023 donne 62,1 % / 58,2 % / 60,0 % (ordre : CheckSORT / DeepSORT / StrongSORT).

Au moment de la rédaction, le classement officiel TestA plaçait l'équipe des auteurs cinquième. L'article précise que la place finale attendait encore la soumission du code pour TestB. Il s'agit d'une autre mesure que les expériences ci-dessus, annotées par les auteurs et exprimées en secondes.

Conclusion

Nous connaissons maintenant le résultat final.

CheckSORT a remporté la piste 4 de l'AI City Challenge 2023.

Cette réussite souligne une difficulté majeure de la caisse automatique : au-delà de la précision du suivi ou de la reconnaissance, il faut réduire l'écart entre les données d'entraînement et les conditions réelles de test (domain gap). Variations de lumière, occultations et angles de pose compliquent la généralisation.

L'article répond à ce problème par deux moyens :

  • Les auteurs conçoivent une procédure d'optimisation des données synthétiques, qui règle la limite d'IoU et l'échelle pour produire des exemples d'entraînement plus représentatifs ;
  • Ils proposent, pour le passage en caisse, de séparer position et forme au niveau du filtrage, afin de mieux suivre un produit pendant ses rotations, retournements et occultations.

Ces changements améliorent la reconnaissance dans les scènes complexes évaluées et donnent une base plus solide à l'application pratique des caisses automatiques.