DeepACO: A Robust Deep Learning-Based Automatic Checkout System
- Publication
- CVPR Workshops 2022Atelier (workshop)
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@inproceedings{retailproductdeepaco2022,
title = {{DeepACO: A Robust Deep Learning-Based Automatic Checkout System}},
author = {Long Hoang Pham and Duong Nguyen-Ngoc Tran and Huy-Hung Nguyen and Tai Huu-Phuong Tran and Hyung-Joon Jeon and Hyung-Min Jeon and Jae Wook Jeon},
year = {2022},
booktitle = {CVPR Workshops},
url = {https://openaccess.thecvf.com/content/CVPR2022W/AICity/html/Pham_DeepACO_A_Robust_Deep_Learning-Based_Automatic_Checkout_System_CVPRW_2022_paper.html}
}
Voici un article présenté dans un atelier de la CVPR. Regardons-le ensemble.
Définir le problème
Ces dernières années, l'intelligence artificielle et la vision par ordinateur transforment profondément le commerce. La caisse automatique (Automatic Checkout, ACO) apparaît comme une application particulièrement prometteuse.
Dans l'idéal, dès qu'un client dépose ses articles sur le comptoir, le système devrait :
Reconnaître instantanément tous les produits et produire le panier exact, sans aucune intervention humaine !
Ce serait si simple ?
En pratique, les difficultés ne manquent pas :
- Occultations des produits et flou de mouvement ;
- Aspect très semblable de nombreux articles ;
- Coût concret des détections manquées et des erreurs de classification ;
- Nombre élevé de produits et renouvellement fréquent du catalogue, qui compliquent la collecte d'images d'entraînement représentatives.
Des méthodes classiques, comme la soustraction du fond, SIFT, HOG, SVM ou les forêts aléatoires, gèrent mal les occultations et les variations d'éclairage. Leur précision reste limitée.
Les détecteurs profonds Faster R-CNN, SSD ou YOLO ont certes apporté de grands progrès, mais leur déploiement pratique rencontre d'autres obstacles :
- Évaluer séparément la détection par image et le comptage des produits sur toute la vidéo ;
- Pour gagner en stabilité et en cohérence, il faut aussi suivre plusieurs objets (Multi-Object Tracking, MOT).
Le MOT entraîne à son tour des coûts de calcul, des contraintes de temps réel et des difficultés à conserver l'identité des objets, surtout en mode tracking-by-detection en ligne.
Les données nécessaires à l'ACO diffèrent aussi de celles d'une détection ordinaire. Il faut représenter plusieurs articles dans la même image, de fortes occultations et des variations de vue et de lumière. Les jeux existants comprennent :
- RPC : environ 80 000 images d'articles et de scènes de caisse, pour 200 catégories ;
- RP2K : plus de 2 000 catégories et 350 000 photographies réelles, centrées sur la classification fine ;
- AI City Challenge Checkout : 116 500 images synthétiques issues de scans 3D et de mises en scène simulées.
Même eux ne couvrent pas complètement les produits qui changent sans cesse dans le commerce réel.
Face à l'occultation, aux ressemblances et aux mises à jour fréquentes, peut-on construire un système ACO complet qui suit et compte les articles avec stabilité ?
C'est ce que les auteurs cherchent à faire.
Résoudre le problème
Synthèse des données
Avant de se servir d'un outil, il faut l'affûter.
Commençons donc par les données d'entraînement.
Pour une caisse automatique, la capacité essentielle est :
Prédire exactement les catégories et les quantités dans n'importe quelle combinaison de produits.
S'entraîner uniquement sur des scènes de caisse réelles demanderait beaucoup de données et de maintenance : les catégories sont nombreuses, leur catalogue change vite et il est presque impossible de couvrir toutes les combinaisons et occultations.
Les auteurs choisissent donc une stratégie plus praticable : composer des vues de caisse réalistes à partir d'images d'un seul produit prises en environnement contrôlé, puis entraîner le modèle sur ces compositions.
Le processus est illustré ici :
Ils réunissent d'abord des exemples d'articles , où :
- est l'image du produit ;
- son masque binaire ;
- l'identifiant de sa catégorie.
L'étude utilise le jeu Saic de l'AI City Challenge 2022, piste 4 :
- 116 500 images ;
- 116 catégories de produits ;
- Des articles obtenus par scan 3D.
Ces exemplars permettent de produire de nombreuses images de caisse synthétiques :
Les paramètres signifient :
- : un choix aléatoire de exemplars ;
- : rotation, échelle et correction gamma appliquées à chacun, respectivement dans les plages 0°–360°, 0,8–1,2 et 0,8–1,0 ;
- : degré d'occultation, entre 0,1 et 0,5, qui limite l'IoU maximal entre les boîtes des produits composés.
Le processus complet :
- Appliquer un ET bit à bit à chaque exemplar et retirer son fond avec ;
- Modifier au hasard la rotation, l'échelle et la luminosité ;
- Créer un masque avec un seuillage inverse ;
- Coller les produits sur des fonds extraits de vidéos réelles de caisse ;
- Empêcher que l'IoU des boîtes dépasse la limite , pour éviter un recouvrement excessif.
On obtient rapidement beaucoup de scènes de caisse, avec des angles, occultations et fonds variés.
La figure suivante montre des exemples à faible, moyen et fort encombrement. Leur effet réel sur le modèle reste à juger dans les expériences.
De gauche à droite : scènes synthétiques peu, moyennement et fortement occultées.
Architecture
Comme sur la figure, DeepACO comporte trois éléments principaux :
- Détecteur (Detector) ;
- Tracker (Tracker) ;
- Compteur (Counter).
Le système ajoute aussi un estimateur des mains (Hand Estimator) pour les besoins particuliers de la piste 4 de l'AI City Challenge 2022. Il aide à interpréter les articles manipulés par les clients.
Détection des produits
DeepACO utilise une interface de détection modulaire : plusieurs détecteurs sont possibles s'ils respectent le format d'entrée et de sortie par lots :
- Entrée : un lot de images RGB, ;
- Sortie : pour l'image , , où est son nombre de détections et comprend , avec l'indice de l'image correspondante.
Les auteurs choisissent Scaled-YOLOv4-P5 comme modèle de référence :
- Il prolonge YOLOv4 et intègre des éléments CSPNet ;
- La famille comprend plusieurs tailles P5, P6 et P7 ; les valeurs MS-COCO citées sont respectivement 51,8 %, 54,5 % et 55,5 % de mAP ;
- Elle peut fonctionner sur un GPU distant ou sur des appareils moins puissants, offrant plusieurs possibilités de déploiement.
Ils ajustent le modèle préentraîné sur MS-COCO avec les 15 642 images synthétiques de la section précédente, réparties à raison de 8:2 entre entraînement et test.
Le réglage comprend :
- Augmentation : rotation, translation et recadrage de base, puis RandAugmentation et Mosaic ;
- Optimisation : SGD pendant 50 époques ; les poids sont choisis selon le meilleur résultat sur le jeu de test.
Les images sont augmentées pendant leur synthèse puis de nouveau à l'entraînement. Cette double augmentation aide à limiter le surapprentissage et à mieux gérer les échelles et occultations.
Estimation des mains
Pour le concours, DeepACO utilise un module de perception des mains afin de repérer les produits tenus par un client. Il s'appuie sur Google MediaPipe et sur deux étapes :
-
Palm Detection (détection de la paume) Un réseau de type SSD détecte la paume sur l'image entière. Plus rigide et moins occultée que la main articulée, elle se prête mieux à cette localisation ; des ancres carrées fixes réduisent leur nombre de 3 à 5 fois.
-
Hand Landmark (régression des points de la main) Dans la région détectée, le modèle estime 21 points 3D. Il résiste à une partie des occultations et peut reprendre la position de l'image précédente pour prédire la région suivante.
Ce module travaille en parallèle du détecteur ; leurs résultats sont comparés pour écarter les faux produits non tenus en main. On peut aussi le désactiver selon les besoins.
Suivi de plusieurs objets
Pour reconnaître les articles dans une vidéo, le suivi est indispensable.
DeepACO utilise SORT (Simple Online and Realtime Tracking) comme tracker en ligne. Chaque produit reçoit un identifiant, puis est suivi dans la zone d'intérêt (Region of Interest, ROI) pour éviter de le reconnaître et de le compter plusieurs fois.
-
SORT : une solution de suivi légère
La caméra étant fixe et placée au-dessus de la caisse, le déplacement des articles reste dans un plan relativement stable. Les auteurs choisissent donc SORT, peu coûteux en calcul et en mémoire, plutôt qu'un tracker plus lourd comme DeepSORT.
Son fonctionnement :
- Un filtre de Kalman prédit le mouvement ;
- L'algorithme hongrois associe les nouvelles détections aux trajectoires ;
- La correspondance entre boîte prédite et boîte détectée utilise la distance fondée sur l'IoU, avec un seuil d'association IoU ≥ 0,3.
Chaque état de trajectoire est :
- : centre de l'objet ;
- : aire de la boîte ;
- : rapport largeur/hauteur ;
- : vitesses correspondantes.
Le modèle linéaire du filtre de Kalman prédit ainsi la position de chaque objet à l'image suivante et aide à conserver les identifiants.
-
États du suivi et comptage
DeepACO étend SORT par une machine à états : la trajectoire change d'état au fil du temps, depuis son entrée dans la ROI jusqu'au comptage final. Le tableau montre ces transitions.
La plus importante est Counting → Counted. Un objet n'est compté que s'il est considéré comme tenu en main (hand-handled) :
- Le module d'estimation fournit les points de la main ;
- Le système compte ceux qui tombent dans la boîte de l'objet et compare ce nombre au seuil choisi ;
- L'algorithme de lancer de rayon (ray-casting) décide si un point se trouve dans le polygone.
L'algorithme de transition vérifie aussi si la trajectoire a quitté la ROI ou a dépassé la durée maximale sans association. La présence d'une main n'entraîne donc pas, à elle seule, un comptage immédiat.
Comptage des produits
Pour satisfaire les règles de l'AI City Challenge, DeepACO ajoute un compteur simple.
L'état de chaque objet est suivi depuis son entrée dans la ROI :
- Lorsqu'il entre entièrement dans la ROI pour la première fois et devient « Confirmed », son numéro d'image est enregistré ;
- Plus tard, ce numéro sert à calculer :
Le résultat est l'instant associé à ce produit dans la sortie, pour une vidéo à 60 images par seconde. Le choix de compter dépend encore de l'état de la trajectoire et de la condition « tenu en main ».
Discussion
Pour évaluer l'utilité et les performances de DeepACO, les auteurs utilisent les vidéos de test de la piste 4 de l'AI City Challenge 2022. Ils examinent la précision, le débit et l'architecture de traitement.
Le système est construit et testé sur :
- CPU : Intel Core i7-7700 ;
- GPU : NVIDIA GeForce RTX 3090 24 Go ;
- RAM : 32 Go.
Développé avec OpenCV, PyTorch et MediaPipe, il propose deux chaînes de traitement :
- Synchrone (Synchronous) : les modules s'exécutent successivement ;
- Asynchrone (Asynchronous) : chaque module possède son propre fil d'exécution (quatre fils CPU et un fil GPU), avec une file d'attente pour transmettre les résultats intermédiaires et réduire les blocages.
La version soumise au concours est asynchrone. Elle améliore le débit, surtout lorsque plusieurs produits apparaissent en même temps.
Vidéos de test et mesure
L'étude emploie cinq vidéos de test du concours, filmées chacune par une caméra fixe placée au-dessus de la caisse pendant des passages de clients simulés.
Le critère est le score F1 :
- TP (True Positive) : produit correctement reconnu ;
- Sa catégorie est exacte, il se trouve dans la ROI et le moment où il passe au-dessus du plateau est correct.
- FP (False Positive) : reconnaissance qui ne devrait pas être comptée comme correcte ;
- FN (False Negative) : véritable produit non reconnu.
Cette mesure combine précision et rappel pour juger le fonctionnement du système.
Résultats quantitatifs
Dans le classement reproduit au Tableau 3, DeepACO est deuxième avec F1 = 0,4783. Le corps de l'article indique aussi 0,4745, en contradiction avec le résumé, le tableau et la conclusion. Ce tableau représente le classement utilisé par l'article ; il ne doit pas être confondu avec le classement final TestB publié plus tard.
Le rappel est de 0,5238 : dans ce protocole, environ la moitié des produits annotés sont reconnus. Les auteurs soupçonnent que certaines erreurs viennent de la détection du geste de passage ou de l'instant du comptage, sans isoler expérimentalement ces causes.
Ces résultats montrent que détection, suivi et comptage fonctionnent sur ce jeu de test, mais qu'il reste un écart important avant une caisse fiable en pratique.
Le traitement en temps réel compte aussi dans la conception du système.
Les auteurs mesurent son débit selon :
- Les GPU NVIDIA RTX 3090 et RTX A6000 ;
- Les modèles Scaled-YOLOv4-P5 et P7 ;
- Les images P5 à 448×448 et P7 à 896×896, avec plusieurs tailles de lot et de file d'attente.
Avec P5, 448×448, un lot de 16 et une file de taille 1, la RTX 3090 passe de 20,54 images/s en synchrone à 32,97 en asynchrone ; la RTX A6000 passe de 18,06 à 34,03 images/s. L'article résume les gains par « environ 10 images/s ». Le tableau ne mesure toutefois que ces matériels et réglages, et ne suffit pas à prédire le comportement dans une caisse déployée.
Conclusion
DeepACO propose un parcours modulaire de détection et de suivi, compatible avec plusieurs modèles. Son module de perception des mains vise à mieux reconnaître les produits réellement manipulés. La chaîne de synthèse produit aussi beaucoup d'images de caisse variées pour pallier le manque de données réelles.
Sur le classement public TestA de la piste 4 de l'AI City Challenge 2022, DeepACO obtient la deuxième place avec un F1 de 0,4783. Il cherche un compromis entre précision et temps réel, avec un débit moyen annoncé d'environ 30 images/s : une piste pour un déploiement pratique.
Pour les ingénieurs intéressés par les caisses automatiques et la vision appliquée au commerce, le cas mérite d'être étudié.