返回论文笔记资料库
Comput Intell Neurosci 2020零售商品识别论文笔记

RPR: Review

零售商品识别

原始论文

Deep Learning for Retail Product Recognition: Challenges and Techniques

论文作者

Yuchen Wei · Son Tran · Shuxiang Xu · Byeong Kang · Matthew Springer

引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@article{retailproductretailproductrecognitionreview2020,
  title = {{Deep Learning for Retail Product Recognition: Challenges and Techniques}},
  author = {Yuchen Wei and Son Tran and Shuxiang Xu and Byeong Kang and Matthew Springer},
  year = {2020},
  journal = {Computational Intelligence and Neuroscience},
  url = {https://doi.org/10.1155/2020/8875910},
  doi = {10.1155/2020/8875910}
}
本页内容

最近回头整理自动结账(Automatic Check-Out, ACO)领域的参考文献。

我们先从一些汇整式的论文来快速认识一下这个领域的样貌。

定义问题

零售商品识别技术(Retail Product Recognition)的主要目标,在于协助零售业者进行有效的商品管理,并提升顾客的购物体验。过去最广泛应用的技术为条码识别,通过扫描商品包装上的条码,达成商品信息的自动提取。

但条码印刷位置不固定,实际操作时经常需要人工旋转商品来配合扫描器,导致流程延迟。

根据 Digimarc 调查,约 45% 的顾客反映条码扫描并不方便。

在这个情境下,RFID 技术或许可以被视为可能的替代方案。其通过无线电波进行数据传输,可不依赖视线扫描完成识别作业,具备理论上的效率优势。每件商品绑定独立标签,可远距读取,不需逐一对齐。

缺点就是贵。

在零售业这个锱铢必较的行业中,每件商品都要消耗一枚 RFID,日积月累下也是一笔可观的开支。此外,RFID 在多件商品同时识别时,信号可能因遮蔽或干扰而出错,对于大量销售产品而言,不利于成本控制。

随着零售产业快速数字化,企业逐渐寻求以人工智慧技术提升营运效率与顾客体验。

根据 Juniper Research 报告,全球零售业者于 AI 相关服务的支出预计将从 2019 年的 36 亿美元成长至 2023 年的 120 亿美元,显示对此类技术的高度投入。另一方面,超市陈列商品数量日益庞大,人工管理成本显著上升,亦驱使业者寻求更高自动化程度的识别方案。

数字摄影设备的普及促成大量商品图像数据的产生,成为发展计算机视觉识别系统的重要基础。

商品识别任务可视为结合图像分类与目标检测的综合问题,核心目标为通过图像自动识别商品类别与位置。此一技术可应用于多种场景:

  1. 货架管理:自动检测缺货商品,提醒店员补货,根据研究指出,完整执行货架计划可提升 7.8% 的销售额与 8.1% 的毛利。
  2. 自助结账系统:通过商品图像识别缩短结账时间,提升顾客满意度;SCO 系统装置在 2014 至 2019 年间持续成长,已被广泛部署以降低人力成本。
  3. 视障者辅助:协助视觉障碍者识别商品信息(如价格、品牌、保存期限),降低购物门槛,提升自主性与社会参与度。

技术层面而言,相较于传统人工特征方法,深度学习能直接从图像中自动学习特征,具备更高识别能力与泛化性。其多层结构亦能萃取更细致的语义信息,适用于复杂与多类别商品的场景。

目前,已有研究团队将深度学习应用于零售领域,并在多项任务中取得具体成果。业界也已经出现 Amazon Go、Walmart Intelligent Retail Lab 等应用实例。

尽管近年相关研究成果渐多,但针对「深度学习于商品识别任务」的系统性总览仍相当有限。过往仅有两篇针对零售货架商品检测的 survey 发表,皆未涵盖结账场景,也未聚焦于深度学习方法。

本篇论文的作者通过回顾超过百篇文献,涵盖 CVPR、ICCV、AAAI 等主流会议与期刊,试图整合现有技术、挑战与资源,并希望本篇论文可以作为此领域研究者与工程师的入门指引,协助快速掌握核心问题与现有成果。

传统方法

商品图像识别的核心,在于从包装图像中萃取出具备代表性的特征,进而完成分类与识别任务。

早期的计算机视觉研究多采用模块化处理流程,将整个识别系统拆解为数个主要步骤:

  1. 图像采集:通过摄像机或手机等装置收集商品图像。
  2. 前处理:针对输入图像进行噪声消除与信息简化,包括图像分割、几何变换与对比增强等。
  3. 特征提取:分析图像区块中不随位置或尺寸改变的稳定特征。
  4. 特征分类:将提取到的特征映射至向量空间后,通过特定分类演算法进行预测。
  5. 识别输出:由预训练分类器产出商品类别结果。

上述架构中的关键步骤是「特征提取」,其准确性直接影响最终识别效果。在深度学习普及之前,研究者广泛依赖手工设计的特征来捕捉图像的视觉特性。

其中,两项经典方法为:

  • SIFT(Scale-Invariant Feature Transform):由 David Lowe 于 1999 年提出,通过图像金字塔架构提取多尺度区域的局部特征,具备旋转、平移与尺度不变性,在目标匹配与分类任务中被广泛使用。
  • SURF(Speeded Up Robust Features):2006 年在 SIFT 基础上发展而来,针对计算效率进行优化,适用于即时性要求较高的应用场景。

然而,这些方法的特征由人工设计,受限于开发者的经验与假设,无法涵盖图像中所有潜在重要信息。此外,当商品种类庞大、包装设计变异显著或拍摄条件多变(如角度、光照),手工特征难以维持识别的稳定性与可扩展性。这促使研究社群逐渐转向以数据驱动的深度学习方法,通过端对端训练直接从图像中学习最具判别力的特征表示。

深度学习方法

深度学习作为机器学习的子领域,其核心目标是从数据中自动学习多层次的表示,进而捕捉高阶语义结构。这种方法避免了手动设计特征的限制,特别适合用于图像、语音、文字等高维数据。

图像识别任务中,深度学习的优势因 GPU 运算能力提升而进一步放大,逐渐取代传统方法,成为主流解法。目前在零售商品识别的应用中,深度学习主要涵盖两大任务:

  1. 图像分类(Image Classification) 将输入图像归类至预定类别;深度模型在部分图像分类基准上表现出色。
  2. 目标检测(Object Detection) 不仅分类,亦需回传目标在图像中的位置(以 bounding box 表示)。此任务对模型设计与计算效率提出更高要求,是商品识别中不可或缺的模块。

深度学习在图像领域的突破,主要来自卷积神经网络。此架构灵感源自猫视觉皮质的生理研究,LeCun 等人于 1988 年首次提出用 CNN 模型进行图像分类,并成功应用于手写数字与支票识别任务。

2010 年以后,ImageNet 挑战赛的推动促使 CNN 结构迅速演进,形成多种主流架构:

  • AlexNet (2012):引入 ReLU 与 Dropout,打破传统图像识别瓶颈,推动深度学习热潮;
  • GoogLeNet (2014):采用 Inception 模块以减少参数数量,同时提升模型深度;
  • VGG (2014):强调统一的 3x3 卷积核设计,便于架构组合与重用;
  • ResNet (2015):提出残差连接,解决深层网络退化问题,允许训练百层以上模型。

近期亦有研究延伸 CNN 应用至 3D 结构识别,发展出多视角 CNN(Multiview CNN),可同时输入多角度图像以进行更精确分类,适用于立体商品识别等进阶任务。

综上,深度学习的两大驱动力为:大规模数据与更深层网络结构。这两者相互加乘,促使模型在视觉识别任务上持续进化,也为商品识别系统奠定技术基础。

回过头来讲一下目标检测任务。

在深度学习技术中,目标检测任务的核心目标为:

自图像中自动识别出目标物的类别与位置(以 bounding box 表示)。

在早期未使用深度学习之前,目标检测多仰赖滑动视窗策略,通过在整张图像上移动固定大小的视窗,逐区块分类判断是否为目标物。但此方法在大尺寸图像或多目标场景中极度耗时,计算量高,效率低落。

深度学习导入后,目标检测演算法可大致分为两类:

  • Two-stage 方法(区域提议为先) 以 R-CNN 系列为代表,流程包含两阶段:第一阶段使用区域提议演算法(如 Selective Search)生成可能目标区域,再于第二阶段通过 CNN 对这些区域分类与回归位置。

    • R-CNN:每个候选区域皆单独输入 CNN 处理,虽提升准确度但速度缓慢。
    • Fast R-CNN:将整张图像先经 CNN 处理,再对特征图进行 ROI pooling,大幅减少重复运算。
    • Faster R-CNN:导入 RPN(Region Proposal Network),由深度网络自动学习区域建议,并与分类器共享特征,成为目前准确率较高之主流技术。
  • One-stage 方法(端对端回归) 直接从图像中回归出目标的位置与类别,省略区域提议阶段,速度较快但早期精度稍低。

    • 代表模型包含 YOLO(You Only Look Once)与 SSD(Single Shot MultiBox Detector),在追求即时性应用(如即时结账、视觉导航)上具备明显优势。

两类方法各具特性:在这篇 2020 年综述讨论的模型中,Two-stage 方法通常着重准确率,One-stage 方法通常着重速度;实际取舍仍取决于模型版本、数据集与部署条件。

商品识别任务在技术面上可被视为目标检测任务的特殊应用,典型作法如上图所示:

  1. 商品检测:使用目标检测模型产生多个 bounding box,标示商品区域。
  2. 区域裁切:将每个预测区域裁切为单一商品图像。
  3. 图像分类:将裁切图像输入分类模型,推断商品类别。

近年已有多家企业导入深度学习技术于零售场域:

  • Amazon Go(2018):使用数十台摄影机取得顾客动线,结合 CNN 模型识别购物行为与商品。为弥补纯图像识别之不足,系统辅以蓝牙与重量感测器,以提升总体识别精度。
  • Walmart IRL(2019):聚焦于货架即时监控,通过摄影机与深度学习模型自动检测缺货状况,并提醒补货人员。
  • 中国业者(DeepBlue Technology、Malong Technologies):推出整合式自动贩卖机、智慧秤重系统与商品识别模块,结合商品图像分析、即时结账与分类推荐等功能。Malong 的 AI Fresh 系统特别针对生鲜商品设计,以处理非结构化视觉特征(如蔬果外观变异)为目标。

从现况来看,虽然目前已有初步商业部署,但基于深度学习的商品识别技术还有许多挑战:

  • 精度 vs. 推理速度间的取舍;
  • 不同商品间视觉相似度高,易误判;
  • 多类别数据不均衡、长尾分布明显;
  • 部署成本与多装置稳定性尚需评估;
  • 真实环境中如遮挡、反光、手部干扰等非理想因子尚难全面处理。

基于以上观察,深度学习虽为商品识别任务中最具潜力之方法,但其技术应用仍需通过更多实证研究与大规模场域部署来完善与优化。

商品识别的挑战

商品识别虽属于目标检测任务的一种应用变形,但实际需求环境与一般目标检测存在显著差异,导致现有模型难以直接迁移。

在本章节中,作者整理出零售商品识别面临的四大挑战,以下为其中四个核心问题:

问题一:类别规模过大

与一般目标检测任务相比,商品识别最大特征在于「类别数量远高于标准数据集」。

中型超市商品数量常达数千个库存单位(Stock Keeping Unit, SKU),远超过常见数据集。相对之下,零售实务场景中,单张图像常含十数类商品,每类商品间细节差异细微(如同品牌不同规格),造成识别难度远高于一般检测任务。

此外,现有主流模型如 Faster R-CNN、YOLO、SSD 等,虽可于标准数据集上达到不错表现,但其分类头多假设类别数固定,当类别数扩增至数千时,精度与召回率皆大幅下降。

论文中实验如下图所示:

图中 Faster R-CNN、SSD、YOLOv2 在 VOC 2012(20 类)的 mAP 都高于 COCO(80 类);但两者是不同数据集,图像与评估条件也不同,不能单凭这张图把差距全归因于类别数。

因此,在面对商品识别场景时,仅仰赖传统目标检测架构,将面临分类维度过高所带来的学习瓶颈与推理不稳定问题。这不仅是模型架构的挑战,更牵涉到数据分布、类别间差异表征与分类策略设计等多层议题。

问题二:数据分布落差

深度学习模型高度仰赖大量标注数据进行训练,然而在商品识别领域中,数据取得面临以下三项主要限制:

  1. 标注成本高昂: 商品识别所需的 bounding box 或 segmentation 标注多需人工完成,建立数万张具标注的训练数据需耗费大量人力与时间。即便已有如 LabelImg、LabelMe 等工具协助标注流程,整体制作成本仍难以大规模扩展。

  2. 训练数据与实际场景存在域偏移(domain gap): 现有商品数据多由固定角度拍摄、背景简单,属于理想化条件(如旋转平台拍摄)。但测试或部署场景往往在复杂背景、光线多变、遮挡频繁的环境下进行,导致模型训练与实际表现间产生落差。

  1. 数据类型不均衡、长尾分布明显: 商品数据集常呈现「少样本、多类别」特征,相较 VOC 或 COCO 等强调均衡类别分布的数据集,零售商品数据集的样本密度远低。根据文中比较,商品识别数据集往往「图片数少但类别数多」,造成模型学习困难。

综合以上,数据不足不仅限制模型表现,更阻碍了泛化能力的提升与新商品的快速迁移学习能力。除非有系统性解决数据不足与实务分布落差问题,否则即使模型架构先进,实际部署时仍难达标。

问题三:类内变异问题

商品识别任务中的一大难题,是不同商品的外观可能非常相似,而同一商品在不同视角与光线下也会产生类内变异;辨别相近商品属于「细粒度分类(fine-grained classification)」。

此类问题具备以下三项特性:

  1. 视觉差异极细微:同一品牌不同口味的饼干、不同尺寸的包装,其外观差异可能仅在颜色饱和度或文字位置,甚至肉眼亦难识别。
  2. 多样化的外观变异:同一产品在不同角度、缩放比例下可能有明显差异,模型需具有尺度与视角不变性。
  3. 环境因素干扰大:照明、背景与遮挡对识别影响显著,对模型判别边界造成挑战。

细粒度分类在其他领域(如鸟种识别、车款分类)已有专门技术发展,通常仰赖额外标注(如关键点、部位对齐信息)辅助模型学习微差异。然而,应用至零售场域时,挑战反而更加明显:

  • 商品之间的视觉相似度不仅限于外形,连包装结构、色彩与字型都高度重复。
  • 缺乏专属的细粒度商品数据集,现有数据多仅标注整体类别,缺乏「次类别层级」的清楚定义。
  • 若无额外标注数据或专业知识辅助,模型将难以学习有效区分策略,导致误判或混淆率上升。

举例来说,下图 (a) 展示两种口味不同的相似产品:

其差异仅存在于包装文字颜色与位置微调;图 (b) 则显示同品牌不同容量之包装,尺寸差异难以从单张图像中识别。这些皆显示商品识别在实务上需具备细致表征能力,方能应对真实场域中的「极度相似但非相同」的识别需求。

问题四:系统灵活性不足

零售业商品汰换频繁,新品持续上架、包装常有改版。以商品图像识别系统而言,若每次遇到新产品就需全面重训模型,不仅耗时耗力,也降低实用性。

理想的系统应具备:

  • 快速扩充能力:可在极少数新样本下加入新类别(few-shot 或 zero-shot learning)。
  • 持续学习能力:能在不遗忘旧类别知识下学习新产品(continual learning / lifelong learning)。

然而,CNN 架构普遍面临「灾难性遗忘」问题:当模型在新类别上进行微调时,原有类别的识别能力会明显下降。

例如下图的示意:

模型原可检测 orange;若只用 banana 图像更新,示意图中的模型虽学会 banana,却漏掉 orange,说明灾难性遗忘的风险,而非所有更新方法的必然结果。

目前主流做法仍须仰赖完整数据重新训练整体模型,这在实务中具备显著的部署成本与效率瓶颈。未来若能开发支持下列特性的识别架构,将对产业应用具备实质助益:

  • 模型具备长期记忆能力;
  • 可支持类别增量训练;
  • 整合基于样本记忆库的 replay 策略或 regularization 技术抑制遗忘。

商品识别系统的「灵活性」将决定其在快速变动市场中的可用性与生命周期。

技术概观

本章节针对刚才所列出的四大挑战,汇整现有文献中已提出之应对技术,着重于深度学习为核心的识别架构,并辅以可与其结合的辅助方法。

通过此分类整理,读者可更快速掌握商品识别任务的解题轮廓与研究动向。

基于卷积网络

零售商品分类任务的核心难点之一,即在于如何处理庞大的类别数量。在此背景下,CNN 模型被广泛应用于图像特征提取阶段,作为特征描述子生成可识别的嵌入向量,用以进行分类或相似度检索。

早期如 SIFT、SURF 等手工特征虽具备旋转与尺度不变性,仍因其缺乏语义层级的表示能力,无法支持大型类别识别需求,因此逐渐被 CNN 所取代。

以下是几篇经典的作品,相关文献请有兴趣的读者自行根据文献编号翻阅论文。

虽多数方法能支持数百至一千类商品分类,但对于中大型超市而言,类别数常远超此范围,因此仍有提升空间。近期有两篇具代表性的工作进一步挑战千级以上类别分类任务:

  1. Tonioni et al.【20】: 使用 VGG 作为 backbone,搭配 MAC(Maximum Activations of Convolutions)特征建构全图嵌入。共处理 3,288 类商品,Precision = 57.07%,mAP = 36.02%。
  2. Karlinsky et al.【21】: 采用 fine-tuned VGG-F(前 2–15 层固定),支持 3,235 类商品识别,最终达成 mAP = 52.16%。

上述研究显示,CNN 虽具备扩展至千级类别的潜力,但实际识别性能(尤其在 recall、细粒度区分能力)仍有显著进步空间。

另外,YOLO9000 提出可识别逾 9,000 类别的检测架构,使用改良后的 Darknet 实作。其关键在于多数据集联合训练与 WordTree 类别阶层。然而,其训练需求极高(需大量标注图像),不易直接应用于商品数据取得昂贵、标注不易的零售场景。

总结来说,CNN 为大型类别商品分类提供了可行基础,但如何提升其在「类别规模爆炸」下的可扩展性、数据效率与识别精度,仍为关键技术挑战。

数据增强

深度学习方法对于训练数据的依赖极高,而在零售商品识别任务中,获取大量标注数据既费时又昂贵。因此,数据增强成为应对数据稀缺问题的重要手段。

常见的数据增强技术分为两大类,相关文献如下表:

  • 传统图像变换方法(common synthesis methods)
  • 生成模型(generative models)

传统数据合成方法主要通过几何与光学变换扩展原始图像,如下图所示:

常见图像增强工具像是 Albumentations ,它提供完整 API 支持像是平移、旋转、缩放、镜射、随机遮挡、随机噪声加入、颜色增强、亮度对比调整等。目前已广泛应用于商品检测任务中。

尽管合成方法操作简便,仍难以模拟真实场景中的高复杂性条件,如光影变化、背景干扰、自然遮挡等。因此,研究者转向使用生成模型以提升数据真实性。

生成模型提供更高拟真度的图像合成方式,主要包含两种架构:

  • VAE(Variational Autoencoder) 利用编码器–解码器架构生成样本,适合进行特征学习与属性控制;这篇 2020 年综述的表格未列出单独以 VAE 进行图像转换的例子。
  • GAN(Generative Adversarial Networks) 借由生成器与判别器对抗学习,生成视觉上更逼真的样本,支持图像到图像的风格转换与合成。

相关文献如下表:

VAE 架构由编码器与解码器组成,通过学习潜在空间分布,能够生成与原始数据相似的样本。虽然目前尚无专门将 VAE 应用于商品识别领域的实例,但已有研究在其他领域展示其潜力。

例如在人脸与鸟类图像生成任务中,文献【101】通过属性控制产生样本,并报告属性回归的均方误差 16.71 与余弦相似度 0.9057;这里不是 Wild 与 CUB 各对应一个指标。另有研究使用 conditional VAE 处理 zero-shot 学习问题,于 AwA、CUB、SUN 与 ImageNet 等标准数据集上进行评估【112】。

这些成功案例显示,VAE 在增强数据多样性与属性控制方面具潜力,未来可望延伸至商品识别任务中。

相较之下,GAN 技术近年在图像生成领域取得更为实质的突破。

自 2014 年提出以来,其通过生成器与判别器的对抗训练机制,已能合成大量逼真图像。研究者也将 GAN 应用于多种任务的数据增强,例如夜间车辆检测【115】、半监督语意杂凑【116】与车牌图像生成【122】,均显著提升模型性能。

在某些应用中,如使用 PixelCNN 搭配 one-hot 类别编码生成指定类别图像【119】,或以 CycleGAN 对图像进行风格转换、模拟真实场景变化,皆展现出良好泛化与迁移能力。

应用于商品识别领域的 GAN 实例虽不多,但已有几篇具体研究初步验证其可行性。

例如 Wei 等人【7】结合背景合成与 CycleGAN 风格转换技术,生成符合收银台情境的商品图像,如下图;其 Syn+Render 基线的 RPC 成绩为 96.57% mAP50、73.83% mmAP、56.68% cAcc,三者是不同指标。

后续 Li 等人【78】进一步提出 DPNet,从合成数据中筛选可信图像,使 checkout 精度提升至 80.51%。此外,另一研究【71】亦尝试将 GAN 与编码器对抗训练结合,产出可用于商品识别的视觉样本。

较可惜的部分是现有方法多以平面背景为主,尚未模拟出真实收银台或货架场景中复杂的背景纹理、商品重叠与遮挡关系。因此,未来如何生成更具真实感的商品图像,仍是一个值得深入探索的方向。

未来可能的开发路线包括强化图像语义控制、融入 3D 建模与物理渲染引擎,或结合领域自适应与跨域增强策略,以进一步缩短模拟数据与实际环境之间的落差。

细粒度分类

细粒度分类为计算机视觉中具代表性的困难任务之一,其目标为识别同一上位类别下的次类别(subcategory),如:不同花种、车型或动物品种等。

应用至商品识别领域时,其挑战性更高,因为商品间除了具高度视觉相似性,还存在拍摄模糊、光照变异、形变、姿态角度与摆放方式等多重干扰因素。

根据现有文献整理,针对商品细粒度识别的方法可概分为两类:

  1. 细粒度特征表征(Fine Feature Representation)
  2. 情境感知(Context Awareness)

细粒度分类的核心在于从视觉相似的目标中提取区分性的微特征。根据监督信号强度,可分为「强监督」与「弱监督」两种方法:

  • 强监督方法(Strongly Supervised)

    这类方法需额外提供区块标注(bounding boxes)与部位信息(parts),可精确对齐产品的局部区域,有利于模型聚焦于关键差异处。

    研究方法重点应用
    Part-based R-CNN【127】基于 R-CNN 架构,分别抽取整体与局部特征可达 SOTA 在鸟类识别数据集启发商品识别的局部特征融合
    Pose-normalized CNN【137】利用 DPM 定位、分区后抽特征并以 SVM 分类准确率达 75.7%适合商品有明显姿态变异场景
    DiffNet【139】比较两张相似货架图像,检测商品变动须标注变动商品,无须标注未变项目变动检测 mAP = 95.56%
  • 弱监督方法(Weakly Supervised)

    这里的弱监督方法无需额外的目标部位标注,通过模型学习发现有区分力的局部区域,适用于部位标注成本高的商品应用情境。

    研究方法概念效果
    Two-Level Attention【126】提取目标整体与局部注意力特征无需部位标注即可学习差异区域细粒度分类有效性佳
    Bilinear CNN【141】两个 CNN 特征图经双线性池化后分类提取局部特征之间的交互作用Caltech-UCSD birds 准确率 84.1%
    Attention Map【74】利用注意力引导模型聚焦细节实作于 CAPG-GP 数据集精度明显优于 baseline
    Discriminative Patch + SVM【143】提取包装中间层关键区块进行分类适用于视觉相近产品分辨成效良好于超市货架分类场景
    Self-Attention Module【144】利用 activation map 判断图像关键位置对 cross-domain 分类具改善效果强化模型泛化能力

另外一种方法是情境感知(Context Awareness)。

当商品外观信息不足以有效分类时,「上下文信息」可作为重要辅助线索,特别是在货架排列规律下,商品的相对位置常隐含语义关联。

研究方法内容成效
CRF + CNN【53】结合 CNN 特征与相邻商品的视觉相似性进行分类加入邻近上下文信息学习商品嵌入精度 91%、召回率 87%
SIFT + Context【64】传统特征配合排列关系进行 hybrid 分类比无上下文方法提升 11.4%具实用性但非深度学习方法
Graph-based Consistency Check【148】将商品排列建模为子图同构问题检测缺货与错置商品强调空间一致性推理能力

整体而言,情境感知技术尚属早期探索阶段,目前应用案例有限,未来若能与 Transformer 架构、空间建模或图神经网络整合,将有机会进一步推升分类性能与场景适应性。

少样本学习

在实务应用中,零售商品种类持续变动,新品上架与包装改版频繁发生。若每次类别变更都需重新训练整个模型,将造成高昂的时间与人力成本。

One-Shot Learning(单样本学习) 因此被提出作为解决方案,其核心目标为:

仅通过极少数(甚至单张)样本识别新类别,并尽可能避免重新训练整体分类器。

此技术源自于距离度量学习(distance metric learning)【149】,运作逻辑为以深度模型将图像映射至特征空间中,再依据查询样本与各类别样本中心的距离,进行最近邻分类。

如下图所示:

输入图像 X 将被分类至与其特征距离最近的类别中心(例如 C1, C2, C3 中的最短距离者)。

这个方法最大的核心特点与应用潜力在于:

  • 支持动态扩充类别:引入新商品时,可将其样本加入特征数据库,无需或仅需少量重训;
  • 大幅降低训练数据需求:特别适用于长尾类别与训练数据稀缺情境;
  • 可与 CNN 特征提取模块整合,维持语义嵌入质量与分类稳定性。

应用于图像分类与目标检测的研究实例如下:

任务方法重点概念效果摘要
图像分类【152】将 CNN 嵌入与色彩信息结合成距离度量解决光照与色差造成的嵌入失真提升 person re-ID 成效
图像分类【150】Matching Networks,基于神经特征度量学习在 ImageNet 的五类单样本任务识别新类别随机类别设定下,准确率由 87.6% 提升至 93.2%
目标检测【155】与 R-CNN 结合进行动物检测少样本动物识别成功运用于极小数训练样本情境
视频分割【154】仅需单张标注图像即可追踪特定目标将 CNN 嵌入微调于特定目标增强单例识别与跨帧追踪能力

相关方法应用在商品识别任务中的作品也不少:

  1. Geng et al.【74】

    • 提出 coarse-to-fine 架构,结合特征比对与 one-shot 分类器,能在无需重训的情况下新增商品类别。
    • 评估数据集:GroZi-3.2k(mAP = 73.93%)、GP-20(65.55%)、GP181(85.79%)。
  2. Tonioni et al.【20】

    • 采用相似度比对策略,将查询图像与商品样本进行 CNN 特征比对。
    • 单张样本即可完成分类,可无缝处理商品包装变更与新类别导入。

One-shot learning 为商品识别系统提供了一种更具弹性与可扩展性的设计思路。目前主流方法仍集中于将 CNN 特征结合距离度量进行分类,未来可能进一步与 few-shot classification、meta-learning、cross-domain adaptation 等方法整合,提升应对真实场景变异性的能力。

公开数据集

深度模型性能取决于数据质量与规模,但人工标注商品图像往往成本高昂。

为方便方法比较与快速原型开发,研究社群已释出多份公开数据集,依应用场景可区分为:

  • 货架图像(on-shelf):商品静态摆放在货架上,模拟补货、排列检查与导购场景。
  • 结账图像(checkout):结账的视角,处理拥挤遮挡、多件混合与商品计数等问题。

货架图像数据集

  • GroZi‑120 是最早被广泛引用的零售商品识别数据集之一,包含 120 类商品。训练图像为 676 张在理想条件下拍摄的白底单品照,适合用于 one-shot 模型设计;测试则是 4,973 张实拍货架图像与 30 分钟视频片段,光照与角度多样,专门用来检验模型的 domain adaptation 能力。

  • GroZi‑3.2k 则扩大类别与样本数,涵盖 80 大类商品,训练集中有 8,350 张网络抓取图像;论文正文称测试图像来自五间实体门市、以手机拍摄,共 680 张,但同篇 Table 5 列为 3,235 张,两处数字不一致。此数据集特别适合细粒度分类任务与 domain shift 评估。

  • Freiburg Grocery 由德国研究团队收集,包含 25 种日常商品。训练图像 4,947 张,来自手机拍摄,分辨率经降至 256×256;测试则采用 Kinect v2 拍摄的高分辨率图像,共 74 张,场景包含遮挡与噪声。此数据集可用来评估从单类别图像到多类别杂乱场景的识别能力。

  • Cigarette Dataset 聚焦于香烟识别,共收录 10 个类别。训练集为 3,600 张单品照,测试则来自 40 间零售商店货架实拍,共 354 张图像、约 13,000 个目标标注。其特点是产品外观极度相似且排列密集,特别适合测试细粒度与遮挡下的识别能力。

  • Grocery Store Dataset 包含 81 类商品;论文正文称共 5,125 张图片,训练集 2,640 张、测试集 2,485 张,Table 5 的测试集却列为 2,458 张,数字未能对齐。自然图像来自 18 家商店。此数据集同时提供「iconic」与「natural」图像,前者来自网站商品页面,后者则为实拍,可用于跨域学习与检索任务。

  • GP181 是 GroZi‑3.2k 的子集,含 183 张单品训练照与 73 张测试照;论文只明确说明测试图像有商品的 bounding box 标注。这个小型数据集可用于少样本识别评估。

结账图像数据集

在自助结账情境下,图像条件更为严苛,像是商品重叠、视角固定、数量不一等问题。

目前两套代表性数据集支撑相关研究:

  • D2S(Densely Segmented Supermarket) 为提供 instance-level mask 的零售商品数据集,总计 21,000 张高分辨率图像,涵盖 60 种常见零售商品(如瓶装饮料、谷片、蔬果等)。其中 4,380 张单品图用于训练,另有 3,600 张验证图与 13,020 张测试图;验证与测试集包含 10,000 张人工合成的多目标图,目标数为 1 至 15。其设计涵盖不同光源、背景与角度。综述的 Table 7 报告各检测器在 D2S 测试集的 mAP50、mAP75。

  • RPC(Retail Product Checkout) 在这篇 2020 年综述所列数据集中规模最大,共含 83,739 张图片,涵盖 200 类商品,并建构出 17 个上位类别。训练数据为多视角单品照(由四台相机拍摄),测试则为从上往下拍摄的拥挤结账图像。该数据集不仅提供 bounding box 与类别标注,更定义了 Checkout Accuracy(cAcc):仅当单张图像内「所有商品皆正确识别与计数」时才视为成功。综述 Table 8 中,RPC 的 FPN Syn+Render 基线为 56.68% cAcc,另一篇 DPNet 方法为 80.51%;这是两篇研究的结果,不宜将差距全归因于单一数据增强步骤。

实务使用建议

  • 若任务为商品检索、细粒度识别或域适应,建议采用 GroZi‑3.2k、Grocery Store 或 GP181。
  • 若任务为密集货架上的商品检测,可考虑 Cigarette;若要测试杂乱场景的分类,可考虑 Freiburg Grocery。
  • 若研究聚焦在结账任务与计数正确性,可考虑 RPC;若需测试实例分割与跨场景表现,可考虑 D2S。
  • 多数数据集同时提供理想背景与实景图像,适合测试数据增强、风格转换与跨域学习策略。

未来若欲进一步推进研究,仍需更大型、多元背景与跨时期的 benchmark。研究者亦可考虑共建标注工具、发展半自动标注机制,降低数据取得与维护成本。

未来研究方向

以下六项研究方向,是作者认为未来进一步推进本领域的重要切入点:

  1. 利用深度神经网络生成商品图像

    目前最大公开数据集仅涵盖 200 类商品,远低于实际超市数千 SKU 的需求。更遑论包装更新频繁、无法全面预搜图像样本。因此,以 DCGAN、CycleGAN 为代表的生成模型已证明具备合成拟真图像的能力。若能发展出可模拟货架视角、遮挡结构与光影变化的生成器,将大幅扩充训练数据的多样性与适应性。

  2. 结合图神经网络进行货架排列检查

    商品摆放具有空间结构与上下文规律,传统卷积架构难以捕捉目标间的非欧几里得关系。GNN 具备在图结构中建模节点(商品)间连结(邻近、类别相似)的能力,已应用于推荐系统与知识图谱建构。在 planogram 任务中,GNN 可学习「观测货架图」与「理想货架图」之间的差异,辅助缺货与错置检测。

  3. 结合迁移学习进行跨通路识别

    现有目标检测模型多假设训练与测试数据分布一致,然实务中不同门市间光源、背景与陈列风格差异极大,模型常需重新训练。迁移学习(Transfer Learning)可通过预训模型(如 ImageNet)快速适应新环境,亦可探索 unsupervised domain adaptation、few-shot fine-tuning 等策略以减少数据需求。

  4. 整合包装文字与图像的多模态特征学习

    细粒度商品常外观极似,但标签文字(如口味、容量)却提供关键识别信息。人类购物时也经常依靠读取包装文字进行判断。原论文提出将图像特征与 OCR 所提取的文字信息进行 joint feature learning,作为待验证方向;BLIP、CLIP 是原论文发表后可延伸探索的模型,并非该文提出或测试的方法。

  5. 支持增量学习的模型更新机制

    深度模型长期面临「灾难性遗忘」问题,即新增类别会破坏原有识别能力。增量学习(Incremental Learning)可让模型在不重训的前提下引入新商品类别。已有研究提出双网络结构:旧网维持历史知识,新网仅训练新类别,并通过特征重整或 distillation 将两者结合。此方向对实务部署价值极高。

  6. 加速回归式检测方法的精度提升

    YOLO、SSD 等回归式检测模型具备即时性优势,适合部署于边缘装置或自助结账系统。但其精度仍落后于二阶段方法(如 Faster R‑CNN)。未来研究需聚焦于如何于不牺牲推理速度的前提下提升其定位与分类表现,如 anchor-free 架构、lightweight attention 机制等。

结论

本篇回顾聚焦于近年深度学习在零售商品识别领域中的核心发展脉络,从任务本质与应用挑战出发,系统性地整理与分析了目前主流技术的应对策略。文章以四大技术挑战为架构:

  1. 大规模类别分类(Large-scale classification)
  2. 训练数据稀缺(Data limitation)
  3. 类内高相似商品的细粒度识别(Intraclass variation)
  4. 系统弹性与快速更新能力(Flexibility)

针对上述挑战,本文不仅汇整了当前领先的研究方法,亦穿插对代表性数据集与实验基准的介绍,协助后进研究者快速掌握该领域的技术座标,缩短进入门槛,并聚焦于具有潜力的研究突破点。

面对商品多样化与零售场景日趋复杂的挑战,作者期盼未来的研究者能在此基础上进一步深化模型设计与系统部署策略,推动零售智能感知技术迈向更高层次的落地应用。