Precise Detection in Densely Packed Scenes
- 发表版本
- CVPR 2019会议
- arXiv 首次提交
- arXiv:1904.00853
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{retailproductsku110k2019,
title = {{Precise Detection in Densely Packed Scenes}},
author = {Eran Goldman and Roei Herzig and Aviv Eisenschtat and Oria Ratzon and Itsik Levi and Jacob Goldberger and Tal Hassner},
year = {2019},
eprint = {1904.00853},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1904.00853}
}
这篇也是比较早期的文献。
不过这篇论文留下的 Benchmark 仍然是目前最常用的零售商品检测数据集之一。
定义问题
现今的目标检测技术已在自然场景中展现极高准确率与速度,但当面对密集排列、物体相似且相互紧邻的情境时,主流方法却显得力不从心。
这类「高密度场景」实际上极为常见,例如:零售通路中的货架陈列、都市交通监控画面或是室内仓储或堆叠环境都是如此。
这些场景通常具有几个显著特征:
- 物体数量极多,排列紧密,甚至相互遮蔽。
- 外观高度相似,难以区分边界。
传统目标检测方法,如 Faster R-CNN、YOLO、RetinaNet 等架构,在自然场景中表现优异,但多数仍依赖后处理阶段的 NMS(Non-Maximum Suppression) 去消除重叠框,这种硬式抑制策略在密集场景下表现出明显瓶颈。例如:同一个实体物体可能会被切成数个小框,反之也可能多个相邻物体被误判为单一实体。
虽然过去已有研究提出各种替代方案,如 Mean-Shift、Agglomerative clustering 或是可学习的 NMS 层(如 GossipNet),但多数方法不是计算量过高,就是难以真正取代传统 NMS,尤其在高密度、外观相近的物体情境中仍容易失效。
此外,目前主流数据集(如 COCO、VOC、Open Images)主要收录自然场景,对于这类「密集、相似、重叠」的特殊场景缺乏良好标准。即便是强调人群或车辆拥挤的 CARPK、PUCPR+,在商品密度与分类难度上都远不及实际零售环境。
那么,当面对这些「挤在一起、长得一样、数量又多」的场景时,深度学习模型该如何才能准确地分辨每一个个体,并且同时保持高效与稳定?
我们能否找到一种方式,让模型「知道自己框得有多准」?
本篇论文的作者认为:不如我们先从 Soft-IoU 开始吧。
解决问题
这篇论文主要的对标对象是 RetinaNet,因为它在密集场景下的表现已经相当不错,但仍有改进空间。作者在标准的检测架构上进行两项扩充:
- 导入 Soft-IoU 预测层:让模型知道「这个框和真实框重叠多少」;
- 提出 EM-Merger 推理单元:将多个检测框转换为高斯分布,通过概率聚类消解重叠。
这两个设计协同作用,减少密集场景下的重叠检测。
基础架构
作者以 ResNet-50 为主干,构建一个具备三层上采样的 FPN,产生多尺度特征图。
每个 RPN 具有三个全卷积输出头:
- 检测头:回归 bounding box 的中心与宽高:
- 分类头:预测物体存在的置信度
- Soft-IoU 头:预测该框与真实物体的重叠程度
为避免训练 Soft-IoU 时引入太多噪声,分类分数低于 0.1 的候选框会被过滤。
Soft-IoU
在非拥挤场景中,只靠 objectness score + NMS 通常已足够。但在密集场景下,多个高置信度框可能对应不同物体,也可能只是遮蔽造成的误检,因此我们需要更细致的「重叠品质指标」。
Soft-IoU 就是为此而设计的,它预测每个框与 ground truth 框的 IoU 分数。对于每个检测框 ,我们先找出与它最近的标注框 ,然后计算:
若两框无交集则 IoU 设为 0。
这个值作为 ground truth 来训练 Soft-IoU 预测层,其损失函数为 binary cross-entropy:
总体 loss 定义为三者加总:
其中前两者为常见的分类与回归损失。
比较特别的地方是 objectness 预测的是「有没有物体」,而 Soft-IoU 预测的是「这个框有多准」。因此,即使某框只有部分覆盖物体,也可能有高 objectness 分数,但其 Soft-IoU 应该较低。这两者呈现互补信号。
EM-Merger
通过 Soft-IoU,每个检测框都有两个置信度:
- :是否有物体
- :有多准确
问题来了,这些框可能彼此重叠、聚集成簇。
我们该如何从这些重叠的候选中,精准找出每一个物体?
作者的解法是将每个检测框视为一个2D 高斯分布:
其中:
- 均值 :框中心;
- 协方差 :反映框的尺寸。
然后这些高斯会组成一个混合模型(MoG):
这表示在每个像素位置 ,我们可以根据 Soft-IoU 权重评估候选框中心的空间分布。
接着只要将这个 MoG 缩减为较少的、高置信度的 个高斯 ,作为真正的目标检测结果。目标是让新的高斯混合 能够逼近原始分布 ,并最小化下式:
其中 KL 表示 Kullback–Leibler divergence。
作者先以阶层式聚类初始化,再以类似 Expectation-Maximization(EM)的步骤近似求解:
-
E 步骤:将每个检测框指派给最近的群(以 KL divergence 判定)
-
M 步骤:重新估计每个群的参数
重复进行直到收敛,最多执行 10 次。初始群数 以影像面积除以平均框面积估计上限;聚类后还会抑制重叠超过阈值、置信度较低的高斯,得到实际的 个检测。
最后,对每个聚类中心套上两倍标准差的椭圆,寻找落在其内的原始检测框集合,并取其中宽高的中位数作为最后的检测框。
这就是整体系统的推理流程:Soft-IoU 做为品质预测 → MoG 表达空间分布 → EM 聚类与重叠抑制 → 减少相邻物体被误杀及重复检测。
SKU-110K 数据集与基准建构
密集检测之所以缺乏突破,部分原因来自缺乏针对此任务设计的高品质数据集。
为此,作者打造了全新数据集 SKU-110K,专门针对零售通路中的货架环境,从设计动机到标注品质,皆针对高密度场景所需特性进行规划。
数据集图像搜集自美国、欧洲、东亚等数千家实体门市,由数十位拍摄人员以个人手机摄影,确保图像呈现自然、非刻意安排的真实陈列状态。
- 每张原始图像分辨率至少为 5MP,后压缩至 1MP JPEG;
- 未规范拍摄设备与角度,保留自然光线、模糊、遮蔽等现实干扰;
- 标注作业由熟练专职人员执行,非通过群众外包,进一步提升标注的精确度与一致性;
- 所有图像与标注经人工复检,过滤明显误标错框。
数据集统计与分割
SKU-110K 共含三个子集,并保证来自同一店家的货架不会同时出现在多个子集中:
| 数据集 | 图像数 | 框数 | 比例 |
|---|---|---|---|
| 训练集 | 8,233 | 1,210,431 | 70% |
| 验证集 | 588 | 90,968 | 5% |
| 测试集 | 2,941 | 432,312 | 25% |
相较于 MS COCO、OpenImages 等数据集,每张图含有的物体数量提升一至三个数量级,是「真正高密度场景的挑战」。
评估指标与准则
主要评估准则依循 COCO 标准,包括:
- AP@[.50:.95]:主挑战指标;
- [email protected]:严格定位准确率;
- AR@300:限制 300 预测数量下的平均召回率;
- [email protected] (IoU=0.75):在 50% recall 时的精确率样本点。
此外,为兼顾「检测」与「计数」任务的表现,作者引入如下误差衡量指标:
-
MAE(Mean Absolute Error)
-
RMSE(Root Mean Squared Error)
其中 为模型预测该图像内的物体数, 为实际标注值。
这个数据集设计上兼顾了高密度、多类别、精细差异与真实干扰,是少数可针对拥挤场景进行严谨评估的 benchmark。
讨论
推理速度分析
为检验模型的部署可行性,作者于相同硬体(Intel i7-5930K + GTX Titan X)上测量平均推理效能,指标为:
- FPS(Frame per Second):每秒可处理的图像张数;
- DPS(Detection per Second):每秒可检测的物体数量。
实验结果如上表所示:
- Base Detector(RetinaNet 同构):推理速度为基准;
- 加入 Soft-IoU Layer:表中与基础检测器同为 0.5 FPS;
- EM-Merger:降至 0.23 FPS,主因为 CPU 与 GPU/RAM 间频繁数据交换;
虽然 EM-Merger 在现阶段较慢,但准确率大幅提升,显示其效能值得部署端优化努力。作者指出若移至 GPU 实作,速度应可显著改善。
检测与计数实验
作者设计数种比较与消融组合,如下:
- Monkey:已知物体数及框尺寸统计下随机掷框,作为对照;
- Base & NMS:基本架构 + 传统 NMS;
- Soft-IoU & NMS:以 Soft-IoU 分数作为 NMS 准则;
- Base & EM-Merger:保留原始 objectness,仅使用 EM 聚类;
- Full System(本论文方法):Soft-IoU + EM-Merger。
检测表现如下表:
- Monkey 几乎无效,证明仅靠密度不够;
- Faster R-CNN / YOLO9000opt 难以处理 50+ 物体的场景,表现不佳;
- RetinaNet 表现相对稳定,并且略优于作者的 Base 架构;
本论文的完整方法在表中各项检测指标([email protected]–.95、[email protected]、AR@300、P@R=.5)均优于 baseline;但只加入 Soft-IoU、仍使用 NMS 时,改善很小,AR@300 甚至略低于 Base & NMS。
针对计数准确度的部分(看上图表的 MAE 和 RMSE),将每张图像预测物体数 与真实值 相比,RetinaNet 的 MAE/RMSE 为 16.584/30.702,完整方法为 14.522/23.992。作者认为 NMS 是计数落差的部分原因;但 Base & EM-Merger 的 RMSE 高达 283.971,说明单用 EM 聚类并不足够。
这表示 Soft-IoU 提供更好的候选评估标准,而 EM-Merger 可有效分离拥挤区域,两者合力使得计数稳定性大幅提升。
下图是本论文的方法和 RetinaNet 在 SKU-110K 测试集上的检测范例;在这些影像中,本方法减少了重叠及定位偏差,呈现较多一物一框的结果。
在 CARPK 与 PUCPR+ 上的泛化实验
为了验证本方法的泛化能力,作者将其应用于两个车辆计数数据集:CARPK 与 PUCPR+。
实验结果显示,就算本方法并非专为车辆计数设计,仍能在这两个数据集上达到优异表现,在 MAE 与 RMSE 上均优于其他方法。
结论
本研究提出的 Soft-IoU 层与 EM-Merger 模块,针对密集场景下的重叠框问题提供了具体工程解法。前者补足了 objectness 无法衡量边界精度的盲点,后者则以概率聚类取代传统 NMS,提升定位清晰度与去重效果。
在 SKU-110K 上,本方法在检测与计数两项指标皆优于同时期的主流架构,显示其设计确实有效。然而,从现今角度回看,其主要限制包括:
- 没有提供多类别检测输出,难以直接应用于需要区分商品身份的复杂场景;
- EM-Merger 难以部署于实时系统,推理速度仍有优化空间;
- 未结合语义信息,对细粒度外观变异仍易混淆。
尽管本方法已发表多年,其在「密集目标检测」这一领域的贡献至今仍具参考价值。尤其 SKU-110K 所代表的极端拥挤场景,在今日许多场域(如自助结账、智慧仓储、交通监控)中依然常见,仍可作为评测模型泛化能力的良好基准。