DeepACO: A Robust Deep Learning-Based Automatic Checkout System
- 发表版本
- CVPR Workshops 2022研讨会(Workshop)
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{retailproductdeepaco2022,
title = {{DeepACO: A Robust Deep Learning-Based Automatic Checkout System}},
author = {Long Hoang Pham and Duong Nguyen-Ngoc Tran and Huy-Hung Nguyen and Tai Huu-Phuong Tran and Hyung-Joon Jeon and Hyung-Min Jeon and Jae Wook Jeon},
year = {2022},
booktitle = {CVPR Workshops},
url = {https://openaccess.thecvf.com/content/CVPR2022W/AICity/html/Pham_DeepACO_A_Robust_Deep_Learning-Based_Automatic_Checkout_System_CVPRW_2022_paper.html}
}
这是一篇 CVPR workshop 的论文,我们一起来欣赏一下。
定义问题
近年来,零售业通过人工智能与计算机视觉技术正经历一场深刻转型,其中自动结账(Automatic Checkout, ACO)被视为最具变革性的应用场景之一。
理想中的 ACO 系统应能在顾客将商品置于结账台的一瞬间:
实时识别所有商品并准确输出购物清单,全程中无需人为干预!
有这种好事?
现实中,要打造这样的系统,要面临的挑战数不胜数:
- 商品遮蔽与动态模糊;
- 高度相似的商品外观;
- 漏检(miss-detection)与误分类(miss-classification)所造成的实质成本;
- 商品种类数量庞大,且上架与更换频繁,难以搜集反映真实场景的训练影像。
传统方法如背景相减、SIFT、HOG 特征与 SVM 或随机森林等分类器,无法有效处理遮蔽与光照变化等干扰,准确率表现有限。
即便进入深度学习时代,采用 Faster R-CNN、SSD、YOLO 等系列模型虽有显著突破,但在实际部署中仍面临许多难解瓶颈:
- 单张图像的检测与整段视频的商品计数需要分别评估;
- 欲强化稳定性与一致性,势必要导入多目标跟踪(Multi-Object Tracking, MOT)技术;
然而 MOT 本身也面临大量计算成本、实时性能与 ID 维持困难的问题,特别是在线上 tracking-by-detection 模式下。
另一方面,ACO 任务的数据需求也与一般检测任务不同,因其高度仰赖「多物体同框」、「遮蔽严重」、「视角与光线变化剧烈」的真实场景,而现有数据集如:
- RPC:包含 8 万张静态与结账场景图片,共 200 类商品;
- RP2K:超过 2,000 类商品、35 万张实体拍摄图片,聚焦于细粒度分类;
- AI City Challenge Checkout:通过 3D 扫描建构合成数据,模拟实体陈列与变光场景,共产出 116,500 张图片。
即便如此,这些数据集仍难完全覆盖真实零售场域中不断更新的商品样貌。
那么,面对这样一个 高遮蔽、高混淆、高更新频率 的极端应用场景,是否有可能打造出一个能稳定跟踪并精准计数的全流程 ACO 系统?
本篇论文的作者就是打算来解决这个问题。
解决问题
数据合成
工欲善其事,必先利其器。
所以必须先搞定训练数据的问题。
对于自动结账系统(ACO)而言,最核心的能力即是:
准确预测任意商品组合中,每个商品的种类与数量。
但是,如果要完全仰赖实体结账影像进行训练,将面临庞大数据规模与维护成本的双重挑战:商品类别众多,更新周期短,几乎无法涵盖所有可能的组合与遮蔽情境。
因此,作者这里采用一套更具实际可行性的策略:将受控环境下的单一商品扫描图,通过合成技术产生拟真结账影像,进而训练模型。
具体流程如下图:
先针对商品收集其「单品样本」数据集 ,其中:
- :商品的影像;
- :对应的 binary mask;
- :商品类别 ID。
本研究使用 2022 AI City Challenge Track 4 所提供的 Saic 数据集,涵盖:
- 共 116,500 张影像;
- 来自 116 个商品类别;
- 所有商品皆由 3D 扫描取得。
通过这些 exemplar,系统可以大量生成结账场景合成图像 ,其建构流程如下:
其中参数意义如下:
- :随机选取的 笔 exemplar;
- :针对每个 exemplar 施加的旋转角度、缩放比例与 gamma 校正等增强参数,范围分别为 0°–360°、0.8–1.2、0.8–1.0;
- :遮蔽程度(clutter ratio),取值 0.1–0.5,控制合成结果中物体框重叠的最大 IoU。
完整流程为:
- 对每个 exemplar 进行 bitwise-and 操作,根据 移除背景;
- 随机施加数据增强(旋转、缩放、亮度调整);
- 应用反向阈值操作产生遮罩;
- 随机将这些商品贴合至实际结账场景影片所撷取的背景图上;
- 控制物体遮蔽程度不超过参数 所定义的 IoU 阈值,避免过度重叠。
此流程能快速生成大量结账场景样本,模拟各种不同角度、遮蔽与复杂背景的情境。
下图展示了低、中、高三种杂乱程度的合成成果;这些是示例,生成数据对模型表现的影响仍须由后面的实验判断。
由左到右分别是低、中、高遮蔽程度的合成结果。
模型架构
DeepACO 整体设计架构如上图,整体系统由三个主要元件组成:
- 检测器(Detector)
- 跟踪器(Tracker)
- 计数器(Counter)
此外,为满足 2022 AI City Challenge Track 4 的特殊需求,系统还整合 手部估计模块(Hand Estimator),强化对顾客操作中商品的判断能力。
商品检测
DeepACO 采用弹性检测框架,支持多种物体检测模型(可热插拔),只需满足 Batch 输入/输出格式即可:
- 输入: 张 RGB 影像组成的批次 ;
- 输出:每张影像的检测结果 ,其中 为该帧的检测数, 包含 ,并保留对应帧索引。
在本研究中,作者选用 Scaled-YOLOv4-P5 作为 baseline,其具备以下特点:
- 延续 YOLOv4 架构,融合 CSPNet 设计;
- 支持不同规模(P5, P6, P7)模型;论文引用的 MS-COCO 数字依序为 51.8%、54.5%、55.5% mAP;
- 可部署于云端 GPU 或低功耗装置,具备良好扩展性。
训练数据就是前一节生成的 15,642 张合成图像,并使用 8:2 训练测试比例微调 MS-COCO 预训模型。
训练设置如下:
- 数据增强:旋转、平移、裁切(基本);RandAugmentation、Mosaic(进阶);
- 优化器:SGD,共训练 50 epoch,选取测试集上表现最佳的权重。
合成流程与训练时皆应用了增强策略,形成「双重增强」效果,有助于避免过拟合并提升模型对尺度与遮蔽的适应能力。
手部估计
为符合比赛需求,DeepACO 特别导入手部感知模块,识别「由顾客手持的商品」,提升检测精度与语义理解能力。此模块采用 Google MediaPipe 框架,并包含两阶段处理,如上图:
-
Palm Detection(掌心检测) 使用 SSD 架构针对整张影像检测掌心,优于直接估计灵活手掌,掌心具刚性、遮蔽少、易处理,且可用固定正方形锚点减少 Anchor 数量 3~5 倍。
-
Hand Landmark(手部关键点回归) 在检测到的手掌区域内估计 21 个手部节点,产出高精度 3D 关键点信息,具备自遮蔽与部分遮挡下的强健性,能延续上一帧位置预测下一帧区域。
此模块与检测器并行运行,并以双方结果交叉比对,有效过滤非手持商品的误判。使用者亦可视需求停用该模块,保持系统灵活性。
多目标跟踪
在影片中进行稳定识别,跟踪(Tracking)是一项不可或缺的关键步骤。
DeepACO 采用 SORT(Simple Online and Realtime Tracking)作为线上多目标跟踪器,将每个物体配上唯一 ID,并持续跟踪其在 ROI(Region of Interest)内的移动状态,确保每个商品仅被识别与计数一次。
-
SORT:轻量跟踪解法
考量应用场景中摄像机为俯视固定角度拍摄(即商品移动平面稳定、遮挡可控),选择计算效率高、内存需求低的 SORT,相较于更重的 DeepSORT 更适合实际部署。
SORT 核心流程如下:
- 使用 Kalman Filter 进行移动预测;
- 使用 Hungarian Algorithm 进行检测结果与既有跟踪物之匹配;
- 预测框与当前检测框之间的匹配代价以 IoU 距离衡量,匹配阈值为 IoU ≥ 0.3。
每个跟踪目标的状态向量为 :
- :物体中心点位置;
- :框面积;
- :长宽比;
- :对应的速度分量。
通过 Kalman filter 的线性运动模型,DeepACO 能有效预测每帧中各目标位置,并维持稳定的 ID 分配。
-
状态管理与计数逻辑
DeepACO 对原始 SORT 架构进行扩充,新增跟踪状态机制,使每个跟踪物体随时间变换其状态,从进入 ROI 到最终被计数,整体状态转换逻辑见上表。
最关键的转换为:「Counting → Counted」的时机判定。只有在物体为手持商品(hand-handled)的情况下才会被纳入统计。判断方式如下:
- 根据手部估计模块回传的手部关键点;
- 计算落在物体框(bounding box)内的关键点数,并与设置阈值比较;
- 采用 ray-casting 演算法 判断点是否落于多边形内部。
论文的状态切换演算法还会检查轨迹是否离开 ROI 或达到最长未匹配时间;手持判定本身并非立即计数的唯一条件。
商品计数
为满足 AI City Challenge 评分准则,DeepACO 设计一个简洁有效的计数模块。
每个物体从进入 ROI 开始,其状态持续被监控:
- 当物体首次 完整进入 ROI,并被标记为「Confirmed」,即纪录对应帧编号;
- 后续处理轨迹时,以先前记录的帧编号计算:
换算成时间(影片帧率为 60 FPS),作为该商品的输出时间点;是否纳入统计仍由跟踪状态与手持条件决定。
讨论
为验证 DeepACO 框架的实用性与性能,本文在 2022 AI City Challenge Track 4 所提供之测试集上进行全面评估,从准确率、延迟性能、实现架构三面向进行探讨。
整个系统于以下环境中建置与测试:
- CPU:Intel Core i7-7700
- GPU:NVIDIA GeForce RTX 3090 24GB
- RAM:32GB
开发平台基于 OpenCV、PyTorch 与 MediaPipe,并实现两种处理流程:
- 同步管线(Synchronous):各模块依序处理;
- 非同步管线(Asynchronous):每个模块由独立线程处理(4 CPU threads + 1 GPU thread),并通过 queue 存储中间结果,降低模块间阻塞。
最终比赛版本采用非同步流程,有效提升整体性能,特别是在多商品同时出现的情境下。
测试数据与评估指标
本研究采用 AI City Challenge 提供之五段测试影片,每段皆为固定俯视摄像机录制,模拟顾客自然进行结账的情境。
评估指标采用 F1 分数,计算方式如下:
- TP(True Positive):正确识别的商品;
- 定义:类别正确、出现在 ROI 且在托盘上方时机点正确。
- FP(False Positive):不该被判定为正确的识别;
- FN(False Negative):未被识别出来的真实商品。
此指标兼顾 precision 与 recall,能更全面评估 ACO 系统的实际表现。
量化成果
论文 Table 3 所列的当时榜单中,DeepACO 以 F1 = 0.4783 排名第二;正文另写 0.4745,与摘要、表格和结论不一致。此表格反映的是论文所用的评估榜单,不宜直接当作后续最终 TestB 排名。
其中 Recall 为 0.5238,表示在该评估设置下约一半的标注商品被正确识别。作者推测部分错误可能来自扫描动作判定或计数时间点,论文并未分别验证原因。
这些结果显示系统能完成此测试集上的检测、跟踪与计数流程,距离可靠的实际结账仍有明显差距。
除了准确率外,实时处理能力亦为本系统设计的重要考量。
作者针对以下情境进行性能测试:
- GPU:NVIDIA RTX 3090 与 RTX A6000;
- 模型:Scaled-YOLOv4-P5 / P7;
- 设置:P5 为 448×448,P7 为 896×896;表格比较多个 batch size 与 queue size。
在 P5、448×448、batch size 16、queue size 1 的设置下,RTX 3090 从同步的 20.54 FPS 增至非同步的 32.97 FPS;RTX A6000 从 18.06 增至 34.03 FPS。论文将各配置的改善概述为约 10 FPS;表格只能支持这些硬件与设置下的吞吐量。
结论
本文提出一套可插拔的 detect-and-track 流程,支持多种模型组合,亦通过手部感知模块提升实体操作情境下的识别准确度。同时设计数据合成管线,大量生成多样化结账影像,补足真实数据不足的痛点。
在 2022 AI City Challenge Track 4 的公开 TestA 榜单上,DeepACO 以 F1 分数 0.4783 暂列第二,在准确率与实时性能之间取得良好平衡,平均可达 30 FPS,即具备实际部署的潜力。
对于有意投入自动结账或零售视觉应用的工程师而言,是个很有价值的参考案例。