返回论文笔记资料库
arXiv 2019CVPR 2019零售商品识别论文笔记

SKU-110K

拥挤的货架

原始论文

Precise Detection in Densely Packed Scenes

论文作者

Eran Goldman · Roei Herzig · Aviv Eisenschtat …

查看全部 7 位作者

Eran Goldman · Roei Herzig · Aviv Eisenschtat · Oria Ratzon · Itsik Levi · Jacob Goldberger · Tal Hassner

发表版本
CVPR 2019会议
arXiv 首次提交
arXiv:1904.00853
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{retailproductsku110k2019,
  title = {{Precise Detection in Densely Packed Scenes}},
  author = {Eran Goldman and Roei Herzig and Aviv Eisenschtat and Oria Ratzon and Itsik Levi and Jacob Goldberger and Tal Hassner},
  year = {2019},
  eprint = {1904.00853},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.00853}
}
本页内容

这篇也是比较早期的文献。

不过这篇论文留下的 Benchmark 仍然是目前最常用的零售商品检测数据集之一。

定义问题

现今的目标检测技术已在自然场景中展现极高准确率与速度,但当面对密集排列、物体相似且相互紧邻的情境时,主流方法却显得力不从心。

这类「高密度场景」实际上极为常见,例如:零售通路中的货架陈列、都市交通监控画面或是室内仓储或堆叠环境都是如此。

这些场景通常具有几个显著特征:

  1. 物体数量极多,排列紧密,甚至相互遮蔽。
  2. 外观高度相似,难以区分边界。

传统目标检测方法,如 Faster R-CNN、YOLO、RetinaNet 等架构,在自然场景中表现优异,但多数仍依赖后处理阶段的 NMS(Non-Maximum Suppression) 去消除重叠框,这种硬式抑制策略在密集场景下表现出明显瓶颈。例如:同一个实体物体可能会被切成数个小框,反之也可能多个相邻物体被误判为单一实体。

虽然过去已有研究提出各种替代方案,如 Mean-Shift、Agglomerative clustering 或是可学习的 NMS 层(如 GossipNet),但多数方法不是计算量过高,就是难以真正取代传统 NMS,尤其在高密度、外观相近的物体情境中仍容易失效。

此外,目前主流数据集(如 COCO、VOC、Open Images)主要收录自然场景,对于这类「密集、相似、重叠」的特殊场景缺乏良好标准。即便是强调人群或车辆拥挤的 CARPK、PUCPR+,在商品密度与分类难度上都远不及实际零售环境。

那么,当面对这些「挤在一起、长得一样、数量又多」的场景时,深度学习模型该如何才能准确地分辨每一个个体,并且同时保持高效与稳定?

我们能否找到一种方式,让模型「知道自己框得有多准」?

本篇论文的作者认为:不如我们先从 Soft-IoU 开始吧。

解决问题

这篇论文主要的对标对象是 RetinaNet,因为它在密集场景下的表现已经相当不错,但仍有改进空间。作者在标准的检测架构上进行两项扩充:

  1. 导入 Soft-IoU 预测层:让模型知道「这个框和真实框重叠多少」;
  2. 提出 EM-Merger 推理单元:将多个检测框转换为高斯分布,通过概率聚类消解重叠。

这两个设计协同作用,减少密集场景下的重叠检测。

基础架构

作者以 ResNet-50 为主干,构建一个具备三层上采样的 FPN,产生多尺度特征图。

每个 RPN 具有三个全卷积输出头:

  • 检测头:回归 bounding box 的中心与宽高:(x,y,h,w)(x, y, h, w)
  • 分类头:预测物体存在的置信度 c∈[0,1]c \in [0, 1]
  • Soft-IoU 头:预测该框与真实物体的重叠程度 ciouc_{\text{iou}}

为避免训练 Soft-IoU 时引入太多噪声,分类分数低于 0.1 的候选框会被过滤。

Soft-IoU

在非拥挤场景中,只靠 objectness score + NMS 通常已足够。但在密集场景下,多个高置信度框可能对应不同物体,也可能只是遮蔽造成的误检,因此我们需要更细致的「重叠品质指标」。

Soft-IoU 就是为此而设计的,它预测每个框与 ground truth 框的 IoU 分数。对于每个检测框 bib_i,我们先找出与它最近的标注框 b^i\hat{b}_i,然后计算:

IoUi=Intersection(b^i,bi)Union(b^i,bi)\text{IoU}_i = \frac{\text{Intersection}(\hat{b}_i, b_i)}{\text{Union}(\hat{b}_i, b_i)}

若两框无交集则 IoU 设为 0。

这个值作为 ground truth 来训练 Soft-IoU 预测层,其损失函数为 binary cross-entropy:

LsIoU=−1n∑i=1n[IoUilog⁡(ciou,i)+(1−IoUi)log⁡(1−ciou,i)]\mathcal{L}_{\text{sIoU}} = -\frac{1}{n} \sum_{i=1}^n \left[ \text{IoU}_i \log(c_{\text{iou},i}) + (1 - \text{IoU}_i) \log(1 - c_{\text{iou},i}) \right]

总体 loss 定义为三者加总:

L=Lcls+Lreg+LsIoU\mathcal{L} = \mathcal{L}_{\text{cls}} + \mathcal{L}_{\text{reg}} + \mathcal{L}_{\text{sIoU}}

其中前两者为常见的分类与回归损失。

比较特别的地方是 objectness 预测的是「有没有物体」,而 Soft-IoU 预测的是「这个框有多准」。因此,即使某框只有部分覆盖物体,也可能有高 objectness 分数,但其 Soft-IoU 应该较低。这两者呈现互补信号。

EM-Merger

通过 Soft-IoU,每个检测框都有两个置信度:

  • cc:是否有物体
  • ciouc_{\text{iou}}:有多准确

问题来了,这些框可能彼此重叠、聚集成簇。

我们该如何从这些重叠的候选中,精准找出每一个物体?

作者的解法是将每个检测框视为一个2D 高斯分布:

fi(p)=N(p;μi,Σi)f_i(p) = \mathcal{N}(p; \mu_i, \Sigma_i)

其中:

  • 均值 μi=(xi,yi)\mu_i = (x_i, y_i):框中心;
  • 协方差 Σi=diag[(hi4)2,(wi4)2]\Sigma_i = \text{diag}\left[\left(\frac{h_i}{4}\right)^2, \left(\frac{w_i}{4}\right)^2\right]:反映框的尺寸。

然后这些高斯会组成一个混合模型(MoG):

f(p)=∑i=1Nαifi(p),αi=ciou,i∑kciou,kf(p) = \sum_{i=1}^N \alpha_i f_i(p), \quad \alpha_i = \frac{c_{\text{iou},i}}{\sum_k c_{\text{iou},k}}

这表示在每个像素位置 pp,我们可以根据 Soft-IoU 权重评估候选框中心的空间分布。

接着只要将这个 MoG 缩减为较少的、高置信度的 K≪NK \ll N 个高斯 gjg_j,作为真正的目标检测结果。目标是让新的高斯混合 g(p)g(p) 能够逼近原始分布 f(p)f(p),并最小化下式:

d(f,g)=∑i=1Nαimin⁡j=1,...,KKL(fi∣∣gj)d(f, g) = \sum_{i=1}^N \alpha_i \min_{j=1,...,K} \text{KL}(f_i || g_j)

其中 KL 表示 Kullback–Leibler divergence。

作者先以阶层式聚类初始化,再以类似 Expectation-Maximization(EM)的步骤近似求解:

  • E 步骤:将每个检测框指派给最近的群(以 KL divergence 判定)

    π(i)=arg⁡min⁡jKL(fi∣∣gj)\pi(i) = \arg\min_j \text{KL}(f_i || g_j)
  • M 步骤:重新估计每个群的参数

    βj=∑i∈π−1(j)αi\beta_j = \sum_{i \in \pi^{-1}(j)} \alpha_i μj′=1βj∑i∈π−1(j)αiμi\mu'_j = \frac{1}{\beta_j} \sum_{i \in \pi^{-1}(j)} \alpha_i \mu_i Σj′=1βj∑i∈π−1(j)αi[Σi+(μi−μj′)(μi−μj′)T]\Sigma'_j = \frac{1}{\beta_j} \sum_{i \in \pi^{-1}(j)} \alpha_i \left[\Sigma_i + (\mu_i - \mu'_j)(\mu_i - \mu'_j)^T\right]

重复进行直到收敛,最多执行 10 次。初始群数 KK 以影像面积除以平均框面积估计上限;聚类后还会抑制重叠超过阈值、置信度较低的高斯,得到实际的 K′≤KK' \leq K 个检测。

最后,对每个聚类中心套上两倍标准差的椭圆,寻找落在其内的原始检测框集合,并取其中宽高的中位数作为最后的检测框。

这就是整体系统的推理流程:Soft-IoU 做为品质预测 → MoG 表达空间分布 → EM 聚类与重叠抑制 → 减少相邻物体被误杀及重复检测。

SKU-110K 数据集与基准建构

密集检测之所以缺乏突破,部分原因来自缺乏针对此任务设计的高品质数据集。

为此,作者打造了全新数据集 SKU-110K,专门针对零售通路中的货架环境,从设计动机到标注品质,皆针对高密度场景所需特性进行规划。

数据集图像搜集自美国、欧洲、东亚等数千家实体门市,由数十位拍摄人员以个人手机摄影,确保图像呈现自然、非刻意安排的真实陈列状态。

  • 每张原始图像分辨率至少为 5MP,后压缩至 1MP JPEG;
  • 未规范拍摄设备与角度,保留自然光线、模糊、遮蔽等现实干扰;
  • 标注作业由熟练专职人员执行,非通过群众外包,进一步提升标注的精确度与一致性;
  • 所有图像与标注经人工复检,过滤明显误标错框。

数据集统计与分割

SKU-110K 共含三个子集,并保证来自同一店家的货架不会同时出现在多个子集中:

数据集图像数框数比例
训练集8,2331,210,43170%
验证集58890,9685%
测试集2,941432,31225%

相较于 MS COCO、OpenImages 等数据集,每张图含有的物体数量提升一至三个数量级,是「真正高密度场景的挑战」。

评估指标与准则

主要评估准则依循 COCO 标准,包括:

  • AP@[.50:.95]:主挑战指标;
  • [email protected]:严格定位准确率;
  • AR@300:限制 300 预测数量下的平均召回率;
  • [email protected] (IoU=0.75):在 50% recall 时的精确率样本点。

此外,为兼顾「检测」与「计数」任务的表现,作者引入如下误差衡量指标:

  • MAE(Mean Absolute Error)

    MAE=1n∑i=1n∣Ki′−ti∣\text{MAE} = \frac{1}{n} \sum_{i=1}^n |K_i' - t_i|
  • RMSE(Root Mean Squared Error)

    RMSE=1n∑i=1n(Ki′−ti)2\text{RMSE} = \sqrt{ \frac{1}{n} \sum_{i=1}^n (K_i' - t_i)^2 }

其中 Ki′K_i' 为模型预测该图像内的物体数,tit_i 为实际标注值。

这个数据集设计上兼顾了高密度、多类别、精细差异与真实干扰,是少数可针对拥挤场景进行严谨评估的 benchmark。

讨论

推理速度分析

为检验模型的部署可行性,作者于相同硬体(Intel i7-5930K + GTX Titan X)上测量平均推理效能,指标为:

  • FPS(Frame per Second):每秒可处理的图像张数;
  • DPS(Detection per Second):每秒可检测的物体数量。

实验结果如上表所示:

  • Base Detector(RetinaNet 同构):推理速度为基准;
  • 加入 Soft-IoU Layer:表中与基础检测器同为 0.5 FPS;
  • EM-Merger:降至 0.23 FPS,主因为 CPU 与 GPU/RAM 间频繁数据交换;

虽然 EM-Merger 在现阶段较慢,但准确率大幅提升,显示其效能值得部署端优化努力。作者指出若移至 GPU 实作,速度应可显著改善。

检测与计数实验

作者设计数种比较与消融组合,如下:

  • Monkey:已知物体数及框尺寸统计下随机掷框,作为对照;
  • Base & NMS:基本架构 + 传统 NMS;
  • Soft-IoU & NMS:以 Soft-IoU 分数作为 NMS 准则;
  • Base & EM-Merger:保留原始 objectness,仅使用 EM 聚类;
  • Full System(本论文方法):Soft-IoU + EM-Merger。

检测表现如下表:

  • Monkey 几乎无效,证明仅靠密度不够;
  • Faster R-CNN / YOLO9000opt 难以处理 50+ 物体的场景,表现不佳;
  • RetinaNet 表现相对稳定,并且略优于作者的 Base 架构;

本论文的完整方法在表中各项检测指标([email protected]–.95、[email protected]、AR@300、P@R=.5)均优于 baseline;但只加入 Soft-IoU、仍使用 NMS 时,改善很小,AR@300 甚至略低于 Base & NMS。

针对计数准确度的部分(看上图表的 MAE 和 RMSE),将每张图像预测物体数 K′K' 与真实值 tt 相比,RetinaNet 的 MAE/RMSE 为 16.584/30.702,完整方法为 14.522/23.992。作者认为 NMS 是计数落差的部分原因;但 Base & EM-Merger 的 RMSE 高达 283.971,说明单用 EM 聚类并不足够。

这表示 Soft-IoU 提供更好的候选评估标准,而 EM-Merger 可有效分离拥挤区域,两者合力使得计数稳定性大幅提升。

下图是本论文的方法和 RetinaNet 在 SKU-110K 测试集上的检测范例;在这些影像中,本方法减少了重叠及定位偏差,呈现较多一物一框的结果。

在 CARPK 与 PUCPR+ 上的泛化实验

为了验证本方法的泛化能力,作者将其应用于两个车辆计数数据集:CARPK 与 PUCPR+。

实验结果显示,就算本方法并非专为车辆计数设计,仍能在这两个数据集上达到优异表现,在 MAE 与 RMSE 上均优于其他方法。

结论

本研究提出的 Soft-IoU 层与 EM-Merger 模块,针对密集场景下的重叠框问题提供了具体工程解法。前者补足了 objectness 无法衡量边界精度的盲点,后者则以概率聚类取代传统 NMS,提升定位清晰度与去重效果。

在 SKU-110K 上,本方法在检测与计数两项指标皆优于同时期的主流架构,显示其设计确实有效。然而,从现今角度回看,其主要限制包括:

  • 没有提供多类别检测输出,难以直接应用于需要区分商品身份的复杂场景;
  • EM-Merger 难以部署于实时系统,推理速度仍有优化空间;
  • 未结合语义信息,对细粒度外观变异仍易混淆。

尽管本方法已发表多年,其在「密集目标检测」这一领域的贡献至今仍具参考价值。尤其 SKU-110K 所代表的极端拥挤场景,在今日许多场域(如自助结账、智慧仓储、交通监控)中依然常见,仍可作为评测模型泛化能力的良好基准。