返回论文笔记资料库
CVPR Workshops 2022零售商品识别论文笔记

DeepACO

俯视的追猎者

原始论文

DeepACO: A Robust Deep Learning-Based Automatic Checkout System

论文作者

Long Hoang Pham · Duong Nguyen-Ngoc Tran · Huy-Hung Nguyen …

查看全部 7 位作者

Long Hoang Pham · Duong Nguyen-Ngoc Tran · Huy-Hung Nguyen · Tai Huu-Phuong Tran · Hyung-Joon Jeon · Hyung-Min Jeon · Jae Wook Jeon

发表版本
CVPR Workshops 2022研讨会(Workshop)
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{retailproductdeepaco2022,
  title = {{DeepACO: A Robust Deep Learning-Based Automatic Checkout System}},
  author = {Long Hoang Pham and Duong Nguyen-Ngoc Tran and Huy-Hung Nguyen and Tai Huu-Phuong Tran and Hyung-Joon Jeon and Hyung-Min Jeon and Jae Wook Jeon},
  year = {2022},
  booktitle = {CVPR Workshops},
  url = {https://openaccess.thecvf.com/content/CVPR2022W/AICity/html/Pham_DeepACO_A_Robust_Deep_Learning-Based_Automatic_Checkout_System_CVPRW_2022_paper.html}
}
本页内容

这是一篇 CVPR workshop 的论文,我们一起来欣赏一下。

定义问题

近年来,零售业通过人工智能与计算机视觉技术正经历一场深刻转型,其中自动结账(Automatic Checkout, ACO)被视为最具变革性的应用场景之一。

理想中的 ACO 系统应能在顾客将商品置于结账台的一瞬间:

实时识别所有商品并准确输出购物清单,全程中无需人为干预!

有这种好事?

现实中,要打造这样的系统,要面临的挑战数不胜数:

  • 商品遮蔽与动态模糊;
  • 高度相似的商品外观;
  • 漏检(miss-detection)与误分类(miss-classification)所造成的实质成本;
  • 商品种类数量庞大,且上架与更换频繁,难以搜集反映真实场景的训练影像。

传统方法如背景相减、SIFT、HOG 特征与 SVM 或随机森林等分类器,无法有效处理遮蔽与光照变化等干扰,准确率表现有限。

即便进入深度学习时代,采用 Faster R-CNN、SSD、YOLO 等系列模型虽有显著突破,但在实际部署中仍面临许多难解瓶颈:

  • 单张图像的检测与整段视频的商品计数需要分别评估;
  • 欲强化稳定性与一致性,势必要导入多目标跟踪(Multi-Object Tracking, MOT)技术;

然而 MOT 本身也面临大量计算成本、实时性能与 ID 维持困难的问题,特别是在线上 tracking-by-detection 模式下。

另一方面,ACO 任务的数据需求也与一般检测任务不同,因其高度仰赖「多物体同框」、「遮蔽严重」、「视角与光线变化剧烈」的真实场景,而现有数据集如:

  • RPC:包含 8 万张静态与结账场景图片,共 200 类商品;
  • RP2K:超过 2,000 类商品、35 万张实体拍摄图片,聚焦于细粒度分类;
  • AI City Challenge Checkout:通过 3D 扫描建构合成数据,模拟实体陈列与变光场景,共产出 116,500 张图片。

即便如此,这些数据集仍难完全覆盖真实零售场域中不断更新的商品样貌。

那么,面对这样一个 高遮蔽、高混淆、高更新频率 的极端应用场景,是否有可能打造出一个能稳定跟踪并精准计数的全流程 ACO 系统?

本篇论文的作者就是打算来解决这个问题。

解决问题

数据合成

工欲善其事,必先利其器。

所以必须先搞定训练数据的问题。

对于自动结账系统(ACO)而言,最核心的能力即是:

准确预测任意商品组合中,每个商品的种类与数量。

但是,如果要完全仰赖实体结账影像进行训练,将面临庞大数据规模与维护成本的双重挑战:商品类别众多,更新周期短,几乎无法涵盖所有可能的组合与遮蔽情境。

因此,作者这里采用一套更具实际可行性的策略:将受控环境下的单一商品扫描图,通过合成技术产生拟真结账影像,进而训练模型。

具体流程如下图:

先针对商品收集其「单品样本」数据集 S=(Is,Ms,ys)S = {(I_s, M_s, y_s)},其中:

  • IsI_s:商品的影像;
  • MsM_s:对应的 binary mask;
  • ysy_s:商品类别 ID。

本研究使用 2022 AI City Challenge Track 4 所提供的 Saic 数据集,涵盖:

  • 共 116,500 张影像;
  • 来自 116 个商品类别;
  • 所有商品皆由 3D 扫描取得。

通过这些 exemplar,系统可以大量生成结账场景合成图像 G=gi\mathcal{G} = {g_i},其建构流程如下:

gi=p(N,a,s,g,c)g_i = p(N, a, s, g, c)

其中参数意义如下:

  • N=(In,Mn,yn)⊂SaicN = {(I_n, M_n, y_n)} \subset Saic:随机选取的 nn 笔 exemplar;
  • (a,s,g)(a, s, g):针对每个 exemplar 施加的旋转角度、缩放比例与 gamma 校正等增强参数,范围分别为 0°–360°、0.8–1.2、0.8–1.0;
  • cc:遮蔽程度(clutter ratio),取值 0.1–0.5,控制合成结果中物体框重叠的最大 IoU。

完整流程为:

  1. 对每个 exemplar 进行 bitwise-and 操作,根据 MnM_n 移除背景;
  2. 随机施加数据增强(旋转、缩放、亮度调整);
  3. 应用反向阈值操作产生遮罩;
  4. 随机将这些商品贴合至实际结账场景影片所撷取的背景图上;
  5. 控制物体遮蔽程度不超过参数 cc 所定义的 IoU 阈值,避免过度重叠。

此流程能快速生成大量结账场景样本,模拟各种不同角度、遮蔽与复杂背景的情境。

下图展示了低、中、高三种杂乱程度的合成成果;这些是示例,生成数据对模型表现的影响仍须由后面的实验判断。

由左到右分别是低、中、高遮蔽程度的合成结果。

模型架构

DeepACO 整体设计架构如上图,整体系统由三个主要元件组成:

  1. 检测器(Detector)
  2. 跟踪器(Tracker)
  3. 计数器(Counter)

此外,为满足 2022 AI City Challenge Track 4 的特殊需求,系统还整合 手部估计模块(Hand Estimator),强化对顾客操作中商品的判断能力。

商品检测

DeepACO 采用弹性检测框架,支持多种物体检测模型(可热插拔),只需满足 Batch 输入/输出格式即可:

  • 输入:BB 张 RGB 影像组成的批次 I∈RB×C×H×WI \in \mathbb{R}^{B \times C \times H \times W};
  • 输出:每张影像的检测结果 Di∈RPi×FD_i \in \mathbb{R}^{P_i \times F},其中 PiP_i 为该帧的检测数,FF 包含 [x1,y1,x2,y2,cls,conf][x_1, y_1, x_2, y_2, \text{cls}, \text{conf}],并保留对应帧索引。

在本研究中,作者选用 Scaled-YOLOv4-P5 作为 baseline,其具备以下特点:

  • 延续 YOLOv4 架构,融合 CSPNet 设计;
  • 支持不同规模(P5, P6, P7)模型;论文引用的 MS-COCO 数字依序为 51.8%、54.5%、55.5% mAP;
  • 可部署于云端 GPU 或低功耗装置,具备良好扩展性。

训练数据就是前一节生成的 15,642 张合成图像,并使用 8:2 训练测试比例微调 MS-COCO 预训模型。

训练设置如下:

  • 数据增强:旋转、平移、裁切(基本);RandAugmentation、Mosaic(进阶);
  • 优化器:SGD,共训练 50 epoch,选取测试集上表现最佳的权重。

合成流程与训练时皆应用了增强策略,形成「双重增强」效果,有助于避免过拟合并提升模型对尺度与遮蔽的适应能力。

手部估计

为符合比赛需求,DeepACO 特别导入手部感知模块,识别「由顾客手持的商品」,提升检测精度与语义理解能力。此模块采用 Google MediaPipe 框架,并包含两阶段处理,如上图:

  1. Palm Detection(掌心检测) 使用 SSD 架构针对整张影像检测掌心,优于直接估计灵活手掌,掌心具刚性、遮蔽少、易处理,且可用固定正方形锚点减少 Anchor 数量 3~5 倍。

  2. Hand Landmark(手部关键点回归) 在检测到的手掌区域内估计 21 个手部节点,产出高精度 3D 关键点信息,具备自遮蔽与部分遮挡下的强健性,能延续上一帧位置预测下一帧区域。

此模块与检测器并行运行,并以双方结果交叉比对,有效过滤非手持商品的误判。使用者亦可视需求停用该模块,保持系统灵活性。

多目标跟踪

在影片中进行稳定识别,跟踪(Tracking)是一项不可或缺的关键步骤。

DeepACO 采用 SORT(Simple Online and Realtime Tracking)作为线上多目标跟踪器,将每个物体配上唯一 ID,并持续跟踪其在 ROI(Region of Interest)内的移动状态,确保每个商品仅被识别与计数一次。

  • SORT:轻量跟踪解法

    考量应用场景中摄像机为俯视固定角度拍摄(即商品移动平面稳定、遮挡可控),选择计算效率高、内存需求低的 SORT,相较于更重的 DeepSORT 更适合实际部署。

    SORT 核心流程如下:

    • 使用 Kalman Filter 进行移动预测;
    • 使用 Hungarian Algorithm 进行检测结果与既有跟踪物之匹配;
    • 预测框与当前检测框之间的匹配代价以 IoU 距离衡量,匹配阈值为 IoU ≥ 0.3。

    每个跟踪目标的状态向量为 (u,v,s,r,u˙,v˙,s˙)(u, v, s, r, \dot{u}, \dot{v}, \dot{s}):

    • (u,v)(u, v):物体中心点位置;
    • ss:框面积;
    • rr:长宽比;
    • (u˙,v˙,s˙)(\dot{u}, \dot{v}, \dot{s}):对应的速度分量。

    通过 Kalman filter 的线性运动模型,DeepACO 能有效预测每帧中各目标位置,并维持稳定的 ID 分配。

  • 状态管理与计数逻辑

    DeepACO 对原始 SORT 架构进行扩充,新增跟踪状态机制,使每个跟踪物体随时间变换其状态,从进入 ROI 到最终被计数,整体状态转换逻辑见上表。

    最关键的转换为:「Counting → Counted」的时机判定。只有在物体为手持商品(hand-handled)的情况下才会被纳入统计。判断方式如下:

    • 根据手部估计模块回传的手部关键点;
    • 计算落在物体框(bounding box)内的关键点数,并与设置阈值比较;
    • 采用 ray-casting 演算法 判断点是否落于多边形内部。

    论文的状态切换演算法还会检查轨迹是否离开 ROI 或达到最长未匹配时间;手持判定本身并非立即计数的唯一条件。

商品计数

为满足 AI City Challenge 评分准则,DeepACO 设计一个简洁有效的计数模块。

每个物体从进入 ROI 开始,其状态持续被监控:

  • 当物体首次 完整进入 ROI,并被标记为「Confirmed」,即纪录对应帧编号;
  • 后续处理轨迹时,以先前记录的帧编号计算:
Timestamp=frame index60\text{Timestamp} = \frac{\text{frame index}}{60}

换算成时间(影片帧率为 60 FPS),作为该商品的输出时间点;是否纳入统计仍由跟踪状态与手持条件决定。

讨论

为验证 DeepACO 框架的实用性与性能,本文在 2022 AI City Challenge Track 4 所提供之测试集上进行全面评估,从准确率、延迟性能、实现架构三面向进行探讨。

整个系统于以下环境中建置与测试:

  • CPU:Intel Core i7-7700
  • GPU:NVIDIA GeForce RTX 3090 24GB
  • RAM:32GB

开发平台基于 OpenCV、PyTorch 与 MediaPipe,并实现两种处理流程:

  • 同步管线(Synchronous):各模块依序处理;
  • 非同步管线(Asynchronous):每个模块由独立线程处理(4 CPU threads + 1 GPU thread),并通过 queue 存储中间结果,降低模块间阻塞。

最终比赛版本采用非同步流程,有效提升整体性能,特别是在多商品同时出现的情境下。

测试数据与评估指标

本研究采用 AI City Challenge 提供之五段测试影片,每段皆为固定俯视摄像机录制,模拟顾客自然进行结账的情境。

评估指标采用 F1 分数,计算方式如下:

F1=TPTP+0.5×(FP+FN)F_1 = \frac{TP}{TP + 0.5 \times (FP + FN)}
  • TP(True Positive):正确识别的商品;
    • 定义:类别正确、出现在 ROI 且在托盘上方时机点正确。
  • FP(False Positive):不该被判定为正确的识别;
  • FN(False Negative):未被识别出来的真实商品。

此指标兼顾 precision 与 recall,能更全面评估 ACO 系统的实际表现。

量化成果

论文 Table 3 所列的当时榜单中,DeepACO 以 F1 = 0.4783 排名第二;正文另写 0.4745,与摘要、表格和结论不一致。此表格反映的是论文所用的评估榜单,不宜直接当作后续最终 TestB 排名。

其中 Recall 为 0.5238,表示在该评估设置下约一半的标注商品被正确识别。作者推测部分错误可能来自扫描动作判定或计数时间点,论文并未分别验证原因。

这些结果显示系统能完成此测试集上的检测、跟踪与计数流程,距离可靠的实际结账仍有明显差距。

除了准确率外,实时处理能力亦为本系统设计的重要考量。

作者针对以下情境进行性能测试:

  • GPU:NVIDIA RTX 3090 与 RTX A6000;
  • 模型:Scaled-YOLOv4-P5 / P7;
  • 设置:P5 为 448×448,P7 为 896×896;表格比较多个 batch size 与 queue size。

在 P5、448×448、batch size 16、queue size 1 的设置下,RTX 3090 从同步的 20.54 FPS 增至非同步的 32.97 FPS;RTX A6000 从 18.06 增至 34.03 FPS。论文将各配置的改善概述为约 10 FPS;表格只能支持这些硬件与设置下的吞吐量。

结论

本文提出一套可插拔的 detect-and-track 流程,支持多种模型组合,亦通过手部感知模块提升实体操作情境下的识别准确度。同时设计数据合成管线,大量生成多样化结账影像,补足真实数据不足的痛点。

在 2022 AI City Challenge Track 4 的公开 TestA 榜单上,DeepACO 以 F1 分数 0.4783 暂列第二,在准确率与实时性能之间取得良好平衡,平均可达 30 FPS,即具备实际部署的潜力。

对于有意投入自动结账或零售视觉应用的工程师而言,是个很有价值的参考案例。