Iterative Knowledge Distillation for Automatic Check-Out
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@article{retailproductdpsnet2021,
title = {{Iterative Knowledge Distillation for Automatic Check-Out}},
author = {Libo Zhang and Dawei Du and Congcong Li and Yanjun Wu and Tiejian Luo},
year = {2021},
journal = {IEEE Transactions on Multimedia},
url = {https://doi.org/10.1109/tmm.2020.3037502},
doi = {10.1109/tmm.2020.3037502}
}
零售商品这个领域下也分了几个分支,其中一个就是自动结账。
自动结账的全名是 Automatic Check-Out(简称 ACO),我们来看看相关的论文。
定义问题
随着零售业逐步数字化转型,系统化地识别顾客购买的商品种类与数量,成为提升顾客体验与降低人力成本的关键。不过 ACO 和典型的目标检测任务不同,这里的问题结构与数据特性都和一般的目标检测有显著差异。
以目前规模最大的 RPC 数据集为例,训练数据由转盘拍摄而来,每张影像包含一件单品,从不同视角取得,背景干净、光照稳定;而测试数据则模拟实际结账场景,将多件商品堆叠在白板上,由固定俯视视角拍摄,背景杂乱、遮挡严重、光影不一。
- 这种从「单品展示」到「堆叠场景」的 domain shift 是 ACO 任务最常遇到的问题。
除了 domain shift,ACO 的另外一个困难是数据标注资源的不对称。
在实际应用中,模型训练时只能依赖人工标注的图片,而测试阶段的场景复杂度却远高于训练数据。即使如 RPC 数据集已提供多层次的标注,但在现实场景中,测试影像往往是「不标注」或「仅提供弱标注」的,这限制了监督学习在 ACO 领域的延展性。
有些研究尝试使用合成数据,像是 Cycle-GAN 这类的技术来减少 domain gap 的问题,但其实效果有限,训练数据本身仍可能存在质量问题。
数据分布严重错位、监督信号不对等、测试场景高度遮挡且重叠密集。
本篇论文的作者,想在这些困难中,试图找一个有效的训练流程。
解决问题
整体模型训练架构如上图,面对 source domain(单品图)与 target domain(结账场景)间庞大的落差,作者首先提出一套「数据增强」策略,目的在于模拟真实场景、练习适应混乱。
数据增强
这个增强过程可以拆成三个阶段:背景去除 → 姿态筛选 → 合成影像生成。
-
背景去除(Background Removal)
RPC 数据集中,训练图像都是放在转盘上拍摄的,虽然已提供边界框,但依然保留不少背景噪声。若直接合成这些图片,会让模型学到「错误背景」。
因此,作者使用一种粗到细(coarse-to-fine)的影像处理方法来去背:
具体步骤如下:
- 边缘检测:使用边缘检测器找到物体轮廓,滤除置信度低的区块。
- 形态学处理:使用膨胀与侵蚀操作消除噪声、填补破碎区域。
- 边缘平滑:以中值滤波器进一步清除锯齿感。
- 视觉显著模型:最后利用 saliency detection 网络(在 MSRA-B 上预训练,并以粗遮罩微调)生成干净物体遮罩。
这样一来,原本含有背景与转盘的影像就变成干净的商品图像,可用来后续生成训练样本。
-
姿态筛选(Pose Pruning)
不是所有单品姿态都适合放进 checkout 场景。例如:一个塑料瓶如果是「由下往上拍」的视角,那在结账画面中是非常不自然的。
为了自动挑选「合理姿态」,作者设计了一个简单但实用的指标:
- :第 类商品在第 个视角下的遮罩面积。
- 若某视角下的遮罩面积太小,代表该姿态与自然放置角度落差大 → 剔除。
只有通过此门槛(大于某阈值 θₘ)的姿态,才会被留下来参与合成。
-
结账场景合成(Checkout Image Synthesis)
当我们手上已有干净遮罩 + 合理姿态,接下来就是合成模拟场景。
操作方式如下:
- 随机放置多个商品:从经过筛选的商品中选出数个,以随机角度(0–360°)与随机缩放(0.4–0.7)贴到干净背景上。
- 避免过度遮挡:每个商品最多被遮蔽 50%。
- 光影处理:虽然合成图位置合理,但仍缺乏真实世界中的光影变化。因此,最后使用 CycleGAN 技术对图像进行风格转换,使其更接近实际测试画面。
下图展示了整个转换过程:
DPSNet
前面通过数据增强,模型获得了初步模拟真实结账画面的能力,但这仍不足以弥补与真实测试影像间的语义落差。作者提出一种名为 DPSNet(Dual Pyramid Scale Network) 的模型架构,试图从两种不同观点中学习共通特征表示:
- 目标检测(Detection)
- 物体计数(Counting)
首先是 Detection View,目标是找出物体在哪里。检测视角输出的是一组物体框,形式为 (c, x, y, w, h),其中:
- c:物体类别
- x, y:物体中心点坐标
- w, h:物体宽高
这是典型的目标检测任务输出,提供物体的空间定位与分类。
另外 Counting View 的目标就是计算物体有几个,输出的是一张密度图,每个位置 会对应 个类别密度值。本文实际设定 ,计数视角只估算总物体数;商品类别仍由检测视角预测。
为了让两个视角都能利用不同层级的特征,DPSNet 采用 FPN(Feature Pyramid Network) 为 backbone,取得多层次特征图 。
特征融合方式如下:
- 将低分辨率的高层特征逐级上采样至 ,融合不同尺度的信息;
- 将高分辨率的 下采样至 ,补入空间细节。
融合后的计数特征图经过 3×3 与 1×1 卷积层输出密度图;检测头则利用各尺度特征和全连接层,输出候选框的类别与位置。
逐步知识蒸馏
模型已经具备预测能力,接着需要评估它在 target domain 上的稳定性。
作者为了将测试数据集也纳入训练流程,设计了一套 渐进式的自我蒸馏训练策略,如下图所示:
整体流程如下:
-
一致性检查(Consistency Check)
对于每张无标注的测试图像,DPSNet 会执行:
- 检测视角 D:预测出物体位置与类别
- 计数视角 C:产生密度图,估计商品总数
接着,比较两者是否「一致」:
- 将高置信度检测的物体数,与密度图积分后四舍五入的计数比较;本文 ,因此检查的是总数是否一致
- 将这些「一致样本」加入训练数据,并生成 pseudo labels
-
反复蒸馏(Iterative Distillation)
在每次训练周期中,DPSNet 都会:
- 使用目前模型预测测试集
- 执行一致性检查 → 挑选可信样本 → 加入训练
- 用这批新 pseudo labels 再训练一轮
- 重复此流程数次
-
实例级修补(Instance-Level Refinement)
最后,在完成数轮蒸馏后,作者额外加入一个修补步骤:
- 对于那些「整张图被舍弃」的影像,如果其中有些物体置信度高,就保留这些物体框,并以背景像素遮掉低置信度框的区域;此步骤先移除计数头,再以修补后的影像微调检测网络。
- 再利用这些修补后的「半可信」图像进行 fine-tuning。
下图展示了三种常见被舍弃的例子:
上排为原始结账影像,下排为遮掉低置信度物体后的影像。A/B/C 分别代表三类被忽略的低置信度物体:A 类为外观与邻近物体相似的商品、B 类为被遮挡的物体、C 类为非商品项目。
通过「一致性 → 蒸馏 → 修补」的连续迭代,知识自 source domain 渗透至 target domain,同时在影像级与实例级均获得渐进式强化,最终提升模型在实测场景的表现稳定度。
损失函数
为了让 DPSNet 能稳定学习来自不同 domain 的信息,在迭代训练的过程中,作者为两个视角分别设计了损失函数,并加总为整体训练目标。
损失函数总览如下:
计数视角的目标是学出一张密度图 ,其各位置的值累加后对应估计的物体数;本文使用单通道密度图。
- 损失类型:平方欧式距离(L2 Loss)
- 直觉意义:预测的密度图越接近实际密度分布,模型越能正确推估商品总数。
密度图的 ground-truth 建立方式为:
- 先以每个物体的中心点位置建立高斯核(Gaussian Kernel)
- 将各物体的高斯核相加;设定 时,所有类别共用单一密度图
- 密度图的高与宽各为输入图的 1/8,例如 800×800 输入对应 100×100
检测视角的目标是为每一个物体预测其类别与边界框位置:
- 分类损失(Cross-Entropy):预测类别 与标注类别 间的误差。
- 回归损失(Smooth L1):只对真正物体(即 )计算边界框位置的误差。
用到的条件指标函数 意味着:
- 物体(foreground):有标注类别,需同时计算分类与回归误差。
- 背景(background):不进行回归,仅考虑是否被错判为某类商品。
此处使用的回归向量 、 代表边界框的参数化坐标(例如中心点与宽高),而 Smooth L1 损失能在小误差下保有稳定梯度,提升训练稳定性。
讨论
RPC dataset benchmark
DPSNet 的实验结果被详细整理于上表,并与两个基线方法比较:参考文献【1】是提出的原始结账检测系统的论文;参考文献【8】是后续改进的 DPNet。
每个方法都经历了两个版本的训练数据:仅使用 CycleGAN 处理过的 Render 图像,或额外加入 Copy-Paste 合成图像构成的 Syn+Render 训练集。DPSNet 额外补充了 Instance+Render 设定,用以验证实例级 pseudo-label 在训练中的影响力。
我们从核心指标 Checkout Accuracy(cAcc) 讲起,这是一项极具现实意义的衡量准则:
- 只有当整张结账影像中的所有商品类别与数量完全正确时,才会被视为一次「完全成功的预测」。换言之,它对错误极度敏感,能有效揭示模型在真实场景中的可靠性。
原始的 Render 设定只使用 CycleGAN 处理后的合成影像作为训练来源,其 cAcc 仅有 45.60%。即使有风格转换辅助,仍难弥合模拟与真实场景间的语义差距。
加入更多 Copy-and-Paste 合成图像之后,Syn+Render 设定使 cAcc 提升至 56.68%。这代表训练数据的数量与分布丰富化,确实对模型泛化有所助益。然而,这样的合成影像也可能引入新的噪声,例如错误遮蔽、非自然姿态,甚至背景不一致问题,可能会导致「表面上更多样,实际上更混乱」的反效果。
DPNet 的贡献在于率先引入了 detection 与 counting 双视角学习,并尝试从测试数据中选取可信 pseudo-label 进行训练。这让它即使只用 Render 训练,也可将 cAcc 一举拉高至 77.91%,几乎突破了 baseline 的天花板。
Syn+Render 设定下的 DPNet 更上层楼,达到 80.51%。这组比较显示:未标注的测试数据可以通过可信伪标签提供训练信号。
DPSNet 相较 DPNet 有两大进化:
- 在架构上:引入了 pyramid-scale 表示融合机制,让检测与计数两视角在多层特征上同步运作,不再只是粗略堆叠。
- 在训练上:导入 iterative knowledge distillation,不仅逐步选出可信测试影像,更进一步在实例层级做滤除与修补。
这让「DPSNet (Render)」的平均 cAcc 飙升至 86.54%,而 Syn+Render 版本为 85.98%。若再纳入实例级样本,Instance+Render 进一步达到 88.14%;前两者的差距显示,增加 Copy-Paste 合成数据在此设定下未提升 cAcc。
除了 cAcc,DPSNet 在其他衡量指标上也展现出全方位优势:
- ACD(平均计数误差):衡量每张图各类商品数量的绝对误差总和;平均模式下,Instance+Render 为 0.17,低于 DPNet (Syn+Render) 的 0.34。
- mCIoU(类别计数交并比):比较各类商品预测数量与真实数量;平均模式下,Instance+Render 的 98.66% 较 DPNet (Syn+Render) 的 97.33% 高 1.33 个百分点。
- mmAP(IoU=0.50~0.95 全范围平均精度):平均模式下,Instance+Render 为 79.75%,高于 DPNet (Syn+Render) 的 77.04%。
这些指标彼此互补,描绘出 DPSNet 在 detection 与 counting 双任务之间的整体协调与精度提升。
一个有趣的观察是:DPSNet 在仅使用 Render 训练时,表现甚至略优于 Syn+Render(86.54% > 85.98%)。这可能代表在本文的数据与训练设定下,增加 Copy-Paste 合成图像没有改善 cAcc;仅凭此表无法分离数据量、分布与伪标签策略的各自影响。
这让我们重新思考一个问题:
「真正有价值的训练信号,来自于大量模拟,还是来自于真实分布的理解与筛选?」
这组实验显示,对本文的 DPSNet 设定,可信的实例级测试样本带来可量测的增益。
下图是基于 RPC dataset 的推理结果,从上而下依序为简单,中间与困难样本。
消融实验
-
密度图维度设计
在计数视角中,密度图的第三个维度 可视为「要同时估算几种类别的数量」。
作者比较了以下三种设定:
Density Category (C) 说明 cAcc C = 1 计数头只估商品总数 86.54% C = 17 使用 17 个超类别 80.05% C = 200 完整细分类别 77.22% 结果显示:在这三个设定中, 越大,cAcc 越低,计数 MAE 与可选取的伪标签数也较差。
作者据此认为类别数越多越难收敛。 的计数头不区分类别,但检测头仍预测商品类别;本文以总数进行一致性检查,因此最终采用 。
-
特征表示法的影响
从上表可见,若仅使用 pyramid-scale 架构(无协同学习),其表现甚至低于 DPNet(70.08% < 70.80%)。这反映出:架构的进步若无对应的训练策略支持,可能无法转化为效果提升。
当搭配协同学习后,DPSNet 的表现才开始超越 baseline,cAcc 提升至 79.35%。这说明 pyramid-scale 设计的潜力必须通过双视角互动学习才得以释放。
不论是检测(物体定位)或计数(密度估计),若各自为政,容易陷入 local optimum。例如某个商品虽被准确框住,但密度预测误判;或反之。
在同样使用 dual pyramid scale 的比较中,加入协同学习使 cAcc 从 70.08% 升至 79.35%;70.80% 则是另一个未用 dual pyramid scale 的比较组,不能作为这项单一变因的起点。
上表中,iterative learning 使 cAcc 从 79.35% 升至 86.54%;再加入实例级样本后升至 88.14%。
这套流程的核心精神在于:模型不再仰赖 external label,而是通过内部一致性机制,从自身预测中提炼可信信号,并以此反复训练自己。
结论
DPSNet 从 Pyramid-Scale 特征表示、多视角协同学习,到可选的知识蒸馏与 iterative self-training,层层回应了 ACO 任务中「跨域分布不一致」与「标注数据稀缺」这两大核心问题。
本研究提醒我们,在缺乏大量标注的现实中,测试数据本身便是潜在信号来源。通过稳定的 pseudo-label 策略,可逐步转化为学习资源。此外,相较于风格转换,跨域迁移更关键的是语义与结构的一致性学习;而单一任务难以覆盖的场景,也可通过多任务设计互补实现。
从工程实践角度来看,虽然计数任务无法细致区分语义,却能在训练过程中提供额外监督,有效提升整体性能,实务上值得纳入考量。