Retour à la bibliothèque
arXiv 2019Vision pour le commerce de détailNotes de lecture

RPC Dataset

L'addition, patron !

Article original

RPC: A Large-Scale Retail Product Checkout Dataset

Auteurs de l’article

Xiu-Shen Wei · Quan Cui · Lei Yang · Peng Wang · Lingqiao Liu

Publication
Lieu de publication non encore vérifié
Premier dépôt sur arXiv
arXiv:1901.07249
Citer cet article · BibTeX

La référence correspond à la version liée et cite les auteurs de l’article original.

@misc{retailproductrpc2019,
  title = {{RPC: A Large-Scale Retail Product Checkout Dataset}},
  author = {Xiu-Shen Wei and Quan Cui and Lei Yang and Peng Wang and Lingqiao Liu},
  year = {2019},
  eprint = {1901.07249},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1901.07249}
}
Sur cette page

Cet article présente un nouveau jeu de données, RPC (Retail Product Checkout).

Nous avons remarqué que beaucoup de travaux connexes l'emploient. Partir de cet article pour explorer les références permet aussi de trouver plus vite les recherches récentes.

Un point de départ aussi important mérite le détour.

Définir le problème

Dans le commerce traditionnel, reconnaître les produits mobilise beaucoup de personnel. À mesure que la vision par ordinateur progresse, la caisse automatique (Automatic Check-Out, ACO) attire donc l'attention. Elle vise à générer automatiquement le panier à partir d'une image des articles achetés, afin de remplacer la lecture manuelle des codes, gagner du temps et réduire les coûts.

Ce n'est toutefois pas une simple tâche de classification ou de détection. L'ACO cumule plusieurs difficultés :

  • Grande échelle (large-scale) : le nombre de catégories est élevé et les références SKU d'un supermarché se comptent souvent par milliers ;
  • Granularité fine (fine-grained) : des articles peuvent se ressembler presque parfaitement et ne différer que par une petite étiquette ou un détail d'emballage ;
  • Peu d'exemples (few-shot) : pour la plupart des produits, on ne peut réunir que quelques images d'entraînement ;
  • Changement de domaine (cross-domain) : l'entraînement utilise généralement des photos propres de produits isolés, tandis que les images de caisse réelles montrent des fonds encombrés, des piles de produits, un éclairage variable et de fortes occultations.

Chacune de ces propriétés constitue déjà un problème important en vision par ordinateur. Pour l'ACO, elles surviennent toutes en même temps !

Des jeux de données antérieurs abordent certaines de ces questions :

  • SOIL-47 mesure l'effet des variations d'éclairage et de point de vue ;
  • Supermarket Produce Dataset se concentre sur la classification des fruits et légumes ;
  • Grozi-120 / Grocery Products / Freiburg Dataset comprennent des images du Web et des magasins ;
  • MVTec D2S fournit des annotations de segmentation au pixel pour la segmentation sémantique d'objets industriels.

Mais leurs catégories sont souvent peu nombreuses, ou leurs scènes trop simples pour représenter une vraie caisse. Ils répondent surtout à une sous-tâche et ne testent pas simultanément l'empilement, la diversité des produits et les occultations.

Le manque de données complique aussi l'apprentissage. Les augmentations classiques, comme le retournement, la translation ou les variations de couleur, élargissent un peu la distribution, sans reproduire le désordre ni les combinaisons sémantiques des scènes de test.

La question fondamentale devient alors :

Peut-on construire un jeu suffisamment vaste et varié pour couvrir toutes ces difficultés à la fois ?


Principe de conception du jeu de données

Dans un commerce réel, quand le client pose les articles sur la caisse, le système devrait idéalement :

Reconnaître d'un coup d'œil les catégories et les quantités, puis produire la liste des achats.

La tâche se rapproche donc moins d'une simple « classification » ou « détection » que d'une combinaison de comptage et de reconnaissance de plusieurs objets.

L'entrée de l'ACO est une image de caisse contenant un nombre et un mélange quelconques de produits. Or les données d'entraînement disponibles ne comportent souvent que des photographies d'articles isolés.

La difficulté vient de l'évolution constante du catalogue : réunir des images de caisse pour toutes les combinaisons possibles serait presque impossible. Une voie plus réaliste consiste à apprendre avec des articles isolés, puis à reconnaître plusieurs produits, catégories et quantités dans des piles que le modèle n'a jamais vues pendant l'entraînement.

On peut formuler ce problème ainsi :

  • Étant donnés un ensemble de catégories P={pi}P = \{p_i\} et une image de test ItI_t ;
  • Prédire pour chaque produit pp présent dans l'image son nombre d'occurrences count(p)\text{count}(p) ;
  • Pour un produit absent, count(p)=0\text{count}(p) = 0.

Les ressources d'entraînement possibles sont :

  • Un ensemble d'images d'articles isolés S={(Is,ys)}S = \{(I_s, y_s)\}, chacune associée à une catégorie ;
  • Éventuellement, un ensemble d'images de caisse C={(Ic,Yc)}C = \{(I_c, Y_c)\}, dont les annotations YcY_c peuvent être plus ou moins détaillées.

Ce cadre difficile ouvre aussi un espace de recherche à l'intersection de la classification, du comptage, de la détection, de la supervision faible et du changement de domaine.


Conception du jeu de données

Pour répondre à ces difficultés, les auteurs ont créé RPC (Retail Product Checkout) autour de six propriétés :

  1. Beaucoup de catégories et d'exemples

    • Le jeu comprend 200 catégories de produits (SKU), environ quatre articles physiques par catégorie, pour 83 739 images.

    • Il réunit 53 739 vues d'articles isolés et 30 000 images de caisse : une taille bien supérieure aux jeux publics précédents.

  2. Deux types d'images : articles isolés et articles empilés

    • Les exemplars montrent nettement un produit sous plusieurs angles, comme dans un catalogue en ligne.
    • Les images de caisse, prises sur une caisse simulée à point de vue fixe, montrent plusieurs produits empilés avec de véritables occultations.
  3. Scènes proches de la réalité

    • Les produits de chaque image de caisse sont choisis et placés au hasard, en quantité variable ;
    • Occultations, rotations et chevauchements reproduisent la complexité du commerce réel.
  4. Hiérarchie des catégories

    • Les produits sont regroupés en 17 métacatégories, par exemple boissons, snacks ou papeterie ; bouteille, boîte et sachet décrivent plutôt leur forme visible.
    • Cette hiérarchie aide à étudier les relations sémantiques, la supervision complémentaire ou la classification hiérarchique.
  5. Niveaux d'encombrement annotés

    • Les images de caisse sont réparties en trois niveaux de clutter selon le nombre de catégories et d'instances, afin d'analyser la robustesse selon la complexité de la scène.
  6. Trois intensités de supervision

    • Faible : la liste des achats, avec catégories et quantités seulement ;
    • Intermédiaire : les points centraux et les catégories des produits ;
    • Forte : les boîtes englobantes et les catégories.

RPC forme ainsi un banc d'essai extensible pour mesurer la reconnaissance et le comptage, mais aussi explorer la détection faiblement supervisée, l'adaptation de domaine ou la classification à plusieurs échelles.

Construction du jeu de données

Le jeu comprend 200 catégories de produits de détail (SKU), réunies par apparence et fonction en 17 métacatégories allant de l'alimentation aux produits du quotidien :

puffed food, dried fruit, dried food, instant drink, instant noodles, dessert, drink, alcohol, milk, canned food, chocolate, gum, candy, seasoner, personal hygiene, tissue, stationery.

Leur emballage prend des formes diverses : bouteilles, boîtes, canettes et sachets.

Les références d'une même métacatégorie peuvent se ressembler beaucoup. Deux jus, par exemple, ne se distinguent parfois que par une ligne de texte ou la couleur d'une étiquette : c'est un des problèmes les plus délicats de la reconnaissance fine en ACO.


Images d'articles isolés

Pour obtenir plusieurs vues de chaque produit, les auteurs ont conçu une prise de vue automatique :

  • Quatre caméras fixes photographient respectivement par le dessus, de côté, puis sous des angles obliques de 30° et 45° ;
  • Chaque article tourne sur un plateau à 360 degrés et est photographié tous les 9 degrés, soit 40 images ;
  • Les quatre caméras fournissent chacune 40 images, donc 160 vues par SKU ;
  • Si le dessous diffère du dessus, comme pour certaines boîtes ou certains sachets, l'article est retourné et photographié de nouveau.

Cette étape fournit 53 739 images d'articles isolés, sur fond propre et vues de plusieurs côtés : les images typiques du domaine source pour l'entraînement.


Construction des images de caisse

À la différence des exemplars, ces images visent à simuler la caisse réelle et introduisent volontairement du désordre :

  • Les produits sont posés sur une plaque blanche de 80 cm × 80 cm, filmée du dessus à une résolution de 1 800 × 1 800 pixels ;
  • Catégories et quantités sont combinées au hasard, dans les limites du niveau d'encombrement fixé ;
  • La position et l'angle ne sont pas alignés à la main, afin de reproduire l'empilement de plusieurs articles.

Selon l'occultation et la densité, les images se répartissent en trois niveaux :

EncombrementCatégories de produitsNombre d'instancesCaractéristique
Easy3–53–10Peu d'articles
Medium5–810–15Nombre moyen
Hard8–1015–20Davantage d'occultations

Chaque niveau comprend 10 000 images, pour 30 000 images de caisse au total.

Mesures d'évaluation

La tâche d'ACO consiste à prédire correctement toutes les catégories et quantités présentes dans une image.

RPC propose donc des mesures propres à cette tâche : elles examinent la justesse du panier entier, les erreurs de comptage, les résultats par catégorie et la proximité entre les listes prédites et réelles.

Voici les quatre mesures principales.

Checkout Accuracy (cAcc)

La cAcc est la précision du panier complet.

Le but de l'ACO est de prédire toute la liste des achats dans une image. La mesure la plus importante demande donc :

L'image est correcte seulement si les catégories et les quantités de tous les produits prédits correspondent exactement à la vérité terrain.

Sa formule est :

cAcc=1N∑i=1Nδ(∑k=1K∣Pi,k−GTi,k∣,0)cAcc = \frac{1}{N} \sum_{i=1}^{N} \delta \left( \sum_{k=1}^{K} |P_{i,k} - GT_{i,k}|, 0 \right)
  • Pi,kP_{i,k} : nombre prédit de produits de catégorie kk dans l'image ii ;
  • GTi,kGT_{i,k} : nombre réel de ces produits ;
  • δ(a,b)\delta(a,b) : vaut 1 si ses deux arguments sont égaux, et 0 autrement ; on compare ici l'erreur totale à 0.

La mesure est stricte : une seule erreur sur un article suffit à faire échouer l'image entière.

Average Counting Distance (ACD)

L'ACD est l'erreur moyenne de comptage.

Si l'on veut évaluer l'ampleur des erreurs sans exiger un panier parfait, on utilise :

La somme, pour chaque image, des erreurs de quantité sur toutes les catégories, mesurée par la distance L1.

La formule :

ACD=1N∑i=1N∑k=1K∣Pi,k−GTi,k∣ACD = \frac{1}{N} \sum_{i=1}^{N} \sum_{k=1}^{K} |P_{i,k} - GT_{i,k}|

Elle aide à comparer les erreurs de comptage ; lorsqu'un produit est pris pour un autre, les comptes de deux catégories peuvent être touchés.


Mean Category Counting Distance (mCCD)

La mCCD exprime le rapport moyen d'erreur par catégorie. Elle s'intéresse à la difficulté de reconnaître chaque type de produit :

Pour chaque catégorie, comparer l'erreur de quantité prédite à la quantité réelle, puis moyenner sur les catégories.

La formule :

mCCD=1K∑k=1K∑i=1N∣Pi,k−GTi,k∣∑i=1NGTi,kmCCD = \frac{1}{K} \sum_{k=1}^{K} \frac{ \sum_{i=1}^{N} |P_{i,k} - GT_{i,k}| }{ \sum_{i=1}^{N} GT_{i,k} }

La mesure indique si certaines catégories, notamment celles qui se ressemblent, sont souvent surestimées ou sous-estimées. Elle aide à étudier le déséquilibre entre catégories et la stabilité dans une distribution à longue traîne.


Mean Category IoU (mCIoU)

La mCIoU estime la ressemblance entre paniers.

Les auteurs définissent enfin une mesure proche de l'IoU (Intersection over Union) pour juger à quel point la liste prédite se rapproche de la liste réelle :

mCIoU=1K∑k=1K∑i=1Nmin⁡(Pi,k,GTi,k)∑i=1Nmax⁡(Pi,k,GTi,k)mCIoU = \frac{1}{K} \sum_{k=1}^{K} \frac{ \sum_{i=1}^{N} \min(P_{i,k}, GT_{i,k}) }{ \sum_{i=1}^{N} \max(P_{i,k}, GT_{i,k}) }
  • Plus la quantité prédite d'une catégorie est proche de sa quantité réelle, plus le rapport entre numérateur et dénominateur augmente ;
  • Si, sur tout le jeu évalué, cette catégorie n'apparaît que dans la prédiction ou que dans l'annotation, son rapport vaut 0.

La mCIoU compare le chevauchement des comptes prédits et réels par catégorie. Elle montre dans quelle mesure les catégories et quantités restent proches même quand le panier complet n'est pas parfaitement correct.

Expériences de référence

L'ACO mêle changement de domaine, peu d'exemples et reconnaissance fine ; il n'existe pas encore de cadre de résolution unique.

Pour établir un benchmark sur RPC, les auteurs traitent l'ACO comme une tâche de détection entre domaines et proposent quatre références successives. Les annotations supervisées du détecteur viennent uniquement des exemplars, sans utiliser celles des images de caisse. La méthode Render utilise aussi l'apparence des images de caisse comme cible de transfert de style.


Single

Cette méthode entraîne directement un FPN sur les exemplars.

L'approche la plus immédiate consiste à employer ces images d'articles isolés et leurs étiquettes pour entraîner un détecteur, ici un Feature Pyramid Network (FPN).

Mais ce modèle se généralise à peine aux images de caisse : ses exemples d'entraînement sont propres, ne montrent qu'un article et ne comportent pas d'occultation, tandis que les tests mélangent de nombreux articles dans des scènes éclairées et encombrées. Même sur les images Easy, ce décalage de domaine en fait la référence la plus faible.


Syn

Cette méthode s'entraîne sur des scènes de caisse synthétisées.

Pour réduire le décalage, la deuxième approche découpe les produits des exemplars et les colle afin de créer des images de caisse simulées :

  • Une segmentation de saillance et un post-traitement par CRF (Conditional Random Field) produisent le masque des produits ;
  • Plusieurs articles sont collés au hasard sur un fond vide pour former des scènes empilées ;
  • Les règles des trois niveaux de clutter servent à produire 100 000 images de caisse synthétiques pour l'entraînement.

L'entraînement ressemble ainsi davantage au test. La cAcc progresse nettement, surtout en mode Easy : de 0,02 % à 18,49 %, soit 18,47 points de pourcentage. Elle n'atteint toutefois que 6,54 % en Medium et 2,91 % en Hard : les compositions seules ne comblent pas l'écart de domaine.


Render

Cette approche ajoute un transfert de style interdomaines par CycleGAN.

Dans la figure, les scènes simplement assemblées à gauche deviennent, après CycleGAN à droite, plus naturelles et plus proches de vraies images de caisse. Le processus :

  • Transformer le style des compositions pour les rapprocher des photographies réelles ;
  • Entraîner le détecteur FPN sur ces images transformées.

La cAcc de cette stratégie de traduction de domaine dépasse Syn aux trois niveaux de clutter. Dans ces expériences de détection, le transfert de style apporte donc quelque chose.


Syn+Render

La dernière stratégie mélange les données pour accroître leur diversité.

Les auteurs entraînent sur 100 000 images après rendu et 100 000 images synthétiques d'origine. Ils espèrent que cette variété améliorera la généralisation ; les résultats dépassent effectivement Syn et Render pris séparément.

La cohérence de style des images transformées et la variété des combinaisons synthétiques peuvent donc se compléter et aider le modèle à décider de façon plus robuste.


Tableau détaillé des résultats

Les expériences emploient :

  • Les mesures propres à l'ACO (cAcc, ACD, mCCD, mCIoU) ;
  • Les mesures classiques de détection (mAP@50, mmAP).

Le réglage d'entraînement comprend :

  • Une image redimensionnée avec son côté court à 800 px ;
  • Un SGD synchronisé, deux images par carte sur deux GPU ;
  • Au plus 512 régions d'intérêt (RoI) échantillonnées par image ;
  • Un taux d'apprentissage initial de 0,02, abaissé à 0,002 après 60 000 itérations ;
  • Pour chaque niveau de clutter, 2 000 images de validation et 8 000 de test.

La meilleure méthode, Syn+Render, donne une cAcc de 73,17 % en Easy, 54,69 % en Medium et 42,48 % en Hard. Dans les deux derniers cas, nombre de paniers complets restent faux. L'analyse des échecs souligne également l'empilement, l'occultation et la reconnaissance fine.

Même quand la détection paraît bonne — par exemple 72,72 % de mmAP en Hard — la cAcc reste bien plus basse. Reconnaître exactement toute la liste d'une image demeure une exigence très stricte.

Les erreurs principales relevées sont :

  1. Des objets manqués ;
  2. Des occultations dues aux dispositions serrées ;
  3. Des confusions entre produits très similaires ;
  4. Des faux positifs.

Elles dessinent des pistes pour les recherches suivantes : supervision faible, fusion de plusieurs vues, alignement sémantique et diversité des données générées.

Pistes de recherche futures

Même si l'article construit ses références à partir de la détection entre domaines, l'ACO ouvre un champ bien plus large qu'une seule solution. La structure et les annotations de RPC se prêtent à d'autres recherches :

  • Apprentissage en ligne et extension dynamique :

    Le catalogue change continuellement. L'arrivée de nouveaux articles demande au système d'apprendre vite et de se mettre à jour progressivement. Comment reconnaître ces produits sans réentraîner tout le modèle ? C'est un problème d'apprentissage en ligne, rendu plus difficile par le changement de domaine et les différences subtiles entre articles ; d'autres architectures ou stratégies pourraient être nécessaires.

  • Prédiction directe du panier sans détection :

    Une autre voie consisterait à prédire directement la liste des achats depuis l'image, sans boîtes ni étape de détection. Le problème deviendrait une forme de comptage d'objets multiclasse et multi-instance.

    Il serait toutefois différent du comptage classique : l'ACO comporte des centaines de produits, très peu d'exemples par catégorie et de fortes ressemblances visuelles. On peut donc y voir une nouvelle forme de comptage entre catégories.

  • Apprentissage avec supervision mixte :

    RPC fournit trois niveaux d'annotations des images de caisse — liste, points et boîtes. Les combiner efficacement dans un cadre souple de supervision mixte, capable de s'adapter et de généraliser, reste une question ouverte, surtout lorsque la collecte des données coûte cher.

  • Autres applications de vision par ordinateur :

    Bien que conçu pour la caisse automatique, RPC pourrait aussi servir à :

    • La recherche d'objets (object retrieval) ;
    • La détection avec peu d'exemples (few-shot detection) ;
    • La détection faiblement supervisée (weakly-supervised detection) ;
    • La détection entièrement supervisée (fully-supervised detection).

    Les images de caisse comportent en particulier des boîtes englobantes et des étiquettes SKU complètes. Elles permettent donc d'entraîner et d'évaluer des détecteurs et peuvent compléter d'autres jeux de données de détection générale.

Conclusion

Cet article a été publié en 2019 ; au moment où nous le relisons, nous sommes déjà en 2025.

Depuis, les grands modèles de vision et de langage ont progressé rapidement. Ils commencent à montrer des capacités de reconnaissance et de raisonnement sur les produits présents dans une image, et plusieurs chercheurs explorent leur emploi pour la caisse automatique.

Pourtant, il ne semble pas encore y avoir de progrès réellement opérationnel. La reconnaissance fine, les occultations et la stabilité entre domaines pourraient expliquer que le problème de l'ACO demeure difficile.

C'est aussi ce qui donne sa valeur à RPC : jalon historique, il reste une base pour les travaux à venir. Espérons que d'autres chercheurs construiront sur ce jeu des méthodes nouvelles pour rendre la caisse automatique réellement utile.