返回论文笔记资料库
arXiv 2019零售商品识别论文笔记

RPC Dataset

老板,买单!

原始论文

RPC: A Large-Scale Retail Product Checkout Dataset

论文作者

Xiu-Shen Wei · Quan Cui · Lei Yang · Peng Wang · Lingqiao Liu

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:1901.07249
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{retailproductrpc2019,
  title = {{RPC: A Large-Scale Retail Product Checkout Dataset}},
  author = {Xiu-Shen Wei and Quan Cui and Lei Yang and Peng Wang and Lingqiao Liu},
  year = {2019},
  eprint = {1901.07249},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1901.07249}
}
本页内容

这篇论文做一个新的数据集,叫做 RPC(Retail Product Checkout)。

我们发现很多和相关论文都会用到这个数据集。不仅如此,从这篇论文出发查找文献,能更快速地找到最新的研究成果。

这么重要的节点,你肯定也不能错过。

定义问题

在传统零售业中,「识别商品」这件事占据了大量人力成本。随着电脑视觉技术逐渐成熟,自动结账(Automatic Check-Out, ACO)这个应用场景开始受到关注。它的目标是:从顾客购买商品的图像中,自动生成对应的购物清单,取代人工扫描、提升效率并降低成本。

但是,这不是一个单纯的分类或检测任务,ACO 同时具备以下几个挑战特性:

  • 大规模(large-scale):商品类别数量庞大,超市中常见的 SKU 往往超过上千种;
  • 细粒度(fine-grained):许多商品外观极为相似,差异可能仅在小标签或包装细节;
  • 少样本(few-shot):大多数商品只能收集到极少的训练样本;
  • 跨域(cross-domain):训练数据通常为展示用的干净单品照,测试场景则来自真实结账画面,背景混乱、商品堆叠、光线不稳、遮挡严重,产生明显 domain gap。

这些因素在电脑视觉中本就分别构成重大难题,而 ACO 的挑战在于:这些问题同时存在!

过去也有一些数据集尝试处理其中部分问题,例如:

  • SOIL-47 测试光照与视角变化的影响;
  • Supermarket Produce Dataset 聚焦于水果与蔬菜分类;
  • Grozi-120 / Grocery Products / Freiburg Dataset 收录网络图与店铺实景图;
  • MVTec D2S 提供 pixel-level 分割标注,用于工业物体语义分割。

但这些数据集通常类别数量有限,或是拍摄场景过于简化,与真实结账流程相去甚远。它们多半只解决单一子任务,无法同时测试「堆叠、多类、遮挡」等真实难题。

数据量不足也让学习模型更为困难。虽然传统 data augmentation 方法(翻转、平移、色彩扰动等)能略为扩充数据分布,但无法真正模拟测试场景的噪声与语义组合。

所以,最根本的问题在于:

我们能不能建立一个足够大、足够多样化的数据集,能同时涵盖上述所有挑战?


数据集设计理念

在现实零售场景中,顾客将商品放上结账台时,ACO 系统的理想目标是:

一眼就能识别出商品的种类与数量,并自动产出购物清单。

与其说这是「分类」或「检测」,不如说它更接近一种「多物体计数与识别的组合任务」。

从定义上来看,ACO 的输入是一张拍摄于结账场景的图像,其中可能包含任意数量、任意组合的商品。而我们拥有的训练数据,却往往只有单品照。

真正困难的地方在于:商品库存清单持续更新,要收集涵盖所有商品组合的结账图像几乎不可能。因此,一种更实际的做法,是利用这些单品数据进行训练,在完全未见过商品堆叠的情况下,让模型学会在混乱中识别出多物体、多种类、多数量。

这样的问题可被形式化为:

  • 给定一组商品类别集合 P={pi}P = \{p_i\},与一张测试图像 ItI_t。
  • 目标即:预测所有在该图像中出现过的商品 pp 的出现次数 count(p)\text{count}(p)。
  • 如果某商品未出现,则 count(p)=0\text{count}(p) = 0。

可使用的训练资源包含:

  • 一组单品图像数据集 S={(Is,ys)}S = \{(I_s, y_s)\},每张图对应一项商品类别;
  • 一组可选的结账图像数据集 C={(Ic,Yc)}C = \{(I_c, Y_c)\},其中 YcY_c 可能包含不同程度的标注信息。

这样的设定极具挑战性,也提供了探讨「分类、计数、检测、弱监督、domain shift」等任务交集的空间。


数据集设计

针对上述挑战,作者设计了 RPC(Retail Product Checkout)数据集,有六大关键特色:

  1. 大规模商品种类与样本数

    • 共收录 200 种商品类别(SKU),每类约 4 件实体商品,共取得 83,739 张图像。

    • 其中包含 53,739 张单品 exemplar 图,以及 30,000 张结账图像,规模远大于既有公开数据集。

  2. 双类型图像:单品图与堆叠图

    • 单品 exemplar 图:多角度拍摄的商品清楚图,模拟电商网页商品图。
    • 结账图像:在模拟结账台上拍摄,包含多个商品、视角固定、堆叠与真实遮挡情况。
  3. 场景拟真

    • 商品在结账图中为随机挑选、随机数量、任意摆放;
    • 含有大量遮挡、旋转、多物体重叠,模拟实际零售流程的复杂性。
  4. 层级式商品分类结构

    • 所有商品共分为 17 个上位类别(meta-categories),如饮料、零食、文具等;瓶状、盒状、袋状是其外观形态。
    • 有助于模型学习类别间语义结构,亦可作为辅助监督讯号,或阶层分类的研究方向。
  5. 杂乱程度标注

    • 根据每张结账图中的商品种类与数量,将其划分为三种 clutter level,有助于分析模型在不同复杂度场景下的表现稳定性。
  6. 三种监督强度

    • 弱监督:购物清单(仅提供商品种类与数量);
    • 中监督:点位标注(标示每个商品的中心点与类别);
    • 强监督:边界框(完整标示每个商品的 bounding box 与类别)。

这些设计让 RPC 成为一个高度可扩充的 benchmark,不仅能评估模型识别与计数能力,更能延伸至弱监督检测、domain adaptation、多尺度分类等多种研究路径。

数据建构流程

本数据集共收录 200 个零售商品类别(SKU),依照外观与功能分为 17 个上位类别(meta-categories),涵盖从食品到生活用品的多元型态:

puffed food、dried fruit、dried food、instant drink、instant noodles、dessert、drink、alcohol、milk、canned food、chocolate、gum、candy、seasoner、personal hygiene、tissue、stationery。

这些类别对应的外观结构多样,从瓶状、盒状、罐状到袋状都有涵盖。

同一 meta-category 下的 SKU 通常具有高度外观相似性,例如同样是「果汁」,可能只差一条文字或标签颜色,这正是 ACO 任务中最棘手的「细粒度识别」难题之一。


单品 exemplar 图像

为了获得每个商品在多视角下的外观信息,作者设计了一套自动化拍摄流程:

  • 使用 四台固定视角摄像机,分别对应:上视角(top view)、水平视角(side view)、30° 与 45° 斜视角;
  • 每个商品被放置于可旋转的 360 度转盘 上,每 9 度拍摄一次,共取得 40 张图像;
  • 每台摄像机各拍摄 40 张 → 每个 SKU 共产生 160 张视角图像;
  • 若商品具有上下外观差异(如盒状、袋状),则会进行「翻面后再重拍一次」,以补齐底部特征。

最终,这一阶段共拍摄 53,739 张 exemplar 图像,全部为干净背景、多视角、单一商品的样貌,对应于训练阶段常见的 source domain 图像。


结账图像的构建流程

与 exemplar 不同,结账图像的目标是模拟真实结账情境,因此设计上刻意导入混乱与遮挡:

  • 拍摄背景为一张 80cm × 80cm 白板,摄像机从正上方拍摄,分辨率为 1800 × 1800;
  • 每张图中放置的商品种类与数量均为随机组合,但依据预设的「杂乱程度」进行控制;
  • 商品会随机摆放、角度任意、不进行人工对齐,进一步模拟多件商品堆叠的真实情境。

根据遮挡与密度程度,数据集将结账图像分为三种杂乱等级:

杂乱等级商品种类数商品实例总数特征
Easy3–5 种3–10 件数量较少
Medium5–8 种10–15 件数量居中
Hard8–10 种15–20 件数量较多,遮挡更具挑战

每个杂乱等级都各收录 10,000 张图像,总计构成 30,000 张结账图像。

评估指标

自动结账任务的目标是:正确预测一张图像中所有商品的种类与数量。

为了量化模型在这类任务上的表现,RPC 数据集提出了一套针对 ACO 任务设计的专属评估指标,从单张图像准确性、数量误差、类别层次表现到语义一致性皆有考量。

以下是主要的四个核心指标。

Checkout Accuracy(cAcc)

cAcc 代表整体准确率。

ACO 系统的最终目的是在一张图像中,完整预测出购物清单,因此最核心的指标是:

若模型预测的所有商品种类与数量皆与 GT 完全一致,则该张图像判定为「正确」。

这项指标的公式如下:

cAcc=1N∑i=1Nδ(∑k=1K∣Pi,k−GTi,k∣,0)cAcc = \frac{1}{N} \sum_{i=1}^{N} \delta \left( \sum_{k=1}^{K} |P_{i,k} - GT_{i,k}|, 0 \right)
  • Pi,kP_{i,k}:模型对第 ii 张图像中第 kk 类商品的预测数量;
  • GTi,kGT_{i,k}:该类商品的真实数量;
  • δ(a,b)\delta(a,b):若两个输入相等则回传 1,否则为 0;此处比较的是总误差与 0。

这是一个极为严格的指标,只要预测错一件商品,就会判定该张图像不通过。

Average Counting Distance(ACD)

ACD 表示平均数量误差。

若不要求「完全正确」,而是评估模型平均犯错几次,可采用 ACD:

衡量每张图像中,模型对所有类别的总体预测误差(L1 距离)。

公式如下:

ACD=1N∑i=1N∑k=1K∣Pi,k−GTi,k∣ACD = \frac{1}{N} \sum_{i=1}^{N} \sum_{k=1}^{K} |P_{i,k} - GT_{i,k}|

这项指标适合用于比较模型在各类商品数量预测上的误差;若把一件商品错认成另一类,两个类别的计数都可能产生误差。


Mean Category Counting Distance(mCCD)

mCCD 表示类别平均误差比率,其将注意力放在各商品类别的识别难度上:

衡量模型在每个类别上,预测误差与实际数量的比例,平均所有类别。

公式如下:

mCCD=1K∑k=1K∑i=1N∣Pi,k−GTi,k∣∑i=1NGTi,kmCCD = \frac{1}{K} \sum_{k=1}^{K} \frac{ \sum_{i=1}^{N} |P_{i,k} - GT_{i,k}| }{ \sum_{i=1}^{N} GT_{i,k} }

这项指标反映了模型是否在某些类别(如细粒度商品)上容易高估或低估,可用来评估类别不平衡问题与长尾分布下的预测稳定性。


Mean Category IoU(mCIoU)

mCIoU 表示购物清单相似度。

最后,作者定义了一个类似 IoU(Intersection over Union)的指标,用来衡量预测与实际购物清单在语义层次上的接近程度:

mCIoU=1K∑k=1K∑i=1Nmin⁡(Pi,k,GTi,k)∑i=1Nmax⁡(Pi,k,GTi,k)mCIoU = \frac{1}{K} \sum_{k=1}^{K} \frac{ \sum_{i=1}^{N} \min(P_{i,k}, GT_{i,k}) }{ \sum_{i=1}^{N} \max(P_{i,k}, GT_{i,k}) }
  • 若某类商品预测数量与实际数量越接近,该项在分子与分母中比值越高;
  • 对某类商品而言,若在整个评估集的预测或标注中只有一边出现,该类别的比值为 0。

mCIoU 是一项按类别比较预测与真值计数重叠程度的指标,能分析「即便购物清单未完全正确,模型预测的类别与数量有多接近」。

基准方法实验

由于自动结账问题本身是跨域、少样本、细粒度的复合型任务,目前尚无统一的解法架构。

为建立 RPC 数据集上的 benchmark,作者尝试将 ACO 问题视为一种 cross-domain detection task,并提出四种逐步递进的基线方法。检测器的监督标注只取自 exemplar 单品图,不使用结账图的标注;Render 方法另以结账图的外观作为风格转换目标。


Single

这个方法是直接用 exemplar 训练 FPN。

最直觉的策略,是直接将单品 exemplar 图作为监督数据,训练一个物体检测模型。作者选用 Feature Pyramid Network (FPN) 作为检测器。

然而这个 baseline 几乎无法泛化到结账图,因为 exemplar 是单物体、无遮挡的干净图,而测试数据却是多物体、堆叠遮挡、光影混乱的 domain。这个 domain gap 使得模型即使在 easy 模式下也表现极差,成为最弱的 baseline。


Syn

这个策略是合成结账场景图进行训练。

为了缩小这个 domain gap,第二种方法将 exemplar 商品图「剪下贴上」,合成出模拟结账的图像。具体步骤如下:

  • 使用显著区域分割与 CRF(条件随机场)后处理取得商品 mask;
  • 将多个商品随机贴到空白背景上,建立多物体堆叠场景;
  • 依据不同 clutter 等级规则,合成出 10 万张训练用的合成结账图。

这种策略让训练数据更接近测试场景,cAcc 提升明显,尤其在 easy clutter 模式下从 0.02% 升至 18.49%,差 18.47 个百分点;但在 medium 与 hard 模式分别只有 6.54% 与 2.91%,纯合成图仍不足以填补此处的 domain gap。


Render

这个方法采用 Cycle-GAN 跨域风格转换。

如上图所示,左边是简单拼贴的合成结账图,右边是经过 Cycle-GAN 风格转换后的图像,看起来更自然、更接近真实结账场景,整体流程为:

  • 对合成图进行 Cycle-GAN 翻译,使其风格更接近真实结账图;
  • 使用翻译后图像训练 FPN 检测器。

这种 domain translation 策略在三种 clutter 模式下的 cAcc 都高于 Syn,显示转换后的图像在这组跨域检测实验中有帮助。


Syn+Render

最后一种策略是混合数据训练,提升样本多样性。

作者尝试将 10 万张 render 后的数据与10 万张原始 synthetic 合成图混合训练,期望通过样本多样性进一步提升模型泛化能力,结果显示比单独使用 Syn 或 Render 效果更佳。

这说明数据风格的一致性(render)与样本组合的多样性(syn)两者可互补,有助于模型学习更稳健的判断边界。


详细评估表格

实验同时采用:

  • ACO 任务指标(cAcc、ACD、mCCD、mCIoU);
  • 标准检测指标(mAP@50, mmAP)。

训练设定如下:

  • 输入图像缩放最短边为 800px;
  • 使用同步 SGD,两张图/卡 × 2 GPU;
  • 每张图最多采样 512 个 RoI;
  • 起始学习率 0.02,60K iter 后降为 0.002;
  • 各 clutter 模式中,使用 2,000 张图作验证集,8,000 张作测试集。

实验结果显示:最佳的「Syn+Render」在 easy、medium、hard 模式的 cAcc 分别为 73.17%、54.69%、42.48%;后两者仍有大量完整购物清单预测错误。论文的失败案例分析也指出堆叠遮挡与细粒度识别等困难。

尽管在 mAP 指标下表现良好(如 hard 模式下达到 72.72% mmAP),但从 cAcc 角度看仍远远不足,正确识别整张图的完整购物清单仍是一项极严格的任务要求。

失败案例分析指出主要错误来源包含:

  1. 漏检(missed detection);
  2. 密集排列造成遮挡;
  3. 细粒度商品误辨;
  4. 误判(false positives)。

这些挑战也为后续研究指出明确方向:弱监督、多视角融合、语义对齐、样本生成多样性皆是未来可挖掘的切入点。

未来研究方向

虽然本文以 cross-domain detection 为切入点建立了 RPC 的 baseline,但 ACO 任务的本质远比单一解法更为开放与多元。RPC 数据集提供了可弹性扩展的结构与标注方式,因此也启发了许多值得探索的潜在研究路线:

  • 线上学习与动态扩充:

    现实情境中,商品清单并非固定不变,新品持续上架意味着系统需要具备即时学习与增量更新的能力。如何不重训整个模型,快速将新商品纳入识别范围,构成一个典型的 online learning 问题。特别是 ACO 的跨域与细粒度特性让这项任务更加困难,可能需要全新的架构与策略设计。

  • 跳过检测的清单预测模型:

    一种不同的方向,是不通过 bounding box 或检测流程,而直接从结账图像预测购物清单,将问题转化为一种多类别多实例的物体计数(object counting)任务。

    但与传统 counting 任务不同,ACO 涉及数百种物体、极少样本、外观高度相似,因此可视为一种全新形式的跨类别计数问题。

  • 混合监督的学习架构:

    RPC 提供了三种监督强度的 checkout 标注(list-level, point-level, bbox-level),但如何有效结合这些异质标注资源,设计一个具适应性与抽象能力的混合监督学习框架,仍是一个尚未解决的开放问题,尤其在数据收集成本极高的场域下格外重要。

  • 延伸至其他电脑视觉任务的应用场景:

    尽管 RPC 是为自动结账而生,其图像与标注架构也可支持其他电脑视觉研究方向,如:

    • 物体检索(object retrieval)
    • 少样本学习(few-shot detection)
    • 弱监督学习(weakly-supervised detection)
    • 全监督检测(fully-supervised detection)

    特别是结账图中提供了完整 bounding box 与 SKU 类别标注,使其具备训练与评估检测模型的条件,可作为通用物体检测任务的补充数据集之一。

结论

本篇论文发表于 2019 年,而我们回顾它的时刻已经是 2025 年。

在这几年间,大型视觉语言模型快速发展,对图像中商品的识别与推理能力已有初步展现,不少人开始探索其应用于自动结账场景的可能性。

不过目前似乎还没有看到可行的进展,原因可能在于 ACO 问题中的细粒度识别、遮挡处理与跨域稳定性到问题依然没办法被完全解决。

这也显示出 RPC 数据集的价值:它不仅是过去的里程碑,更是未来研究的基石。希望未来能有更多研究者在此基础上,提出创新的方法与解决方案,推动自动结账技术的实用化。