SSD: Single Shot MultiBox Detector
- 发表版本
- ECCV 2016会议
- arXiv 首次提交
- arXiv:1512.02325
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionssd2015,
title = {{SSD: Single Shot MultiBox Detector}},
author = {Wei Liu and Dragomir Anguelov and Dumitru Erhan and Christian Szegedy and Scott Reed and Cheng-Yang Fu and Alexander C. Berg},
year = {2015},
eprint = {1512.02325},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1512.02325}
}
Faster RCNN 依然是业界的标杆。
最常看到的标准作业流程大概是这样:
- 边界框提议(Bounding Box Proposal):使用 RPN 产生候选框。
- 对每个框重新采样特征(ROI Pooling)
- 送进分类器进行分类
定义问题
这些方法很准,但是计算量还是太大,特别对于一些嵌入式系统来说,即使用最快的检测器 Faster RCNN,也大概只能达到 7 FPS。
作者认为效率瓶颈在于对每个候选框都要进行特征重采样和分类;Faster R-CNN 的图像骨干特征是共享的,或许......
我们可以省略这个步骤。
解决问题
模型架构
为了解决这个问题,作者提出了 SSD 架构,上图是 SSD 和 YOLO-v1 的比较图。
可以看到在 SSD 的设计中,完全舍弃了区域提议的步骤,改成直接从每个特征图的像素进行预测。
这个图看起来可能比较抽象,我们分解一下:
-
首先使用 VGG 作为 Backbone,取出最 1/8 尺度特征图,尺寸是 。
这里让特征图每个位置对 4 个不同尺度/宽高比的默认框,分别预测类别分数与框位置偏移量。
所以在这一层会预测 共 个检测框。
-
接着对特征图做下采样,得到 的特征图。
这里跟上面不一样,而是要预测 6 个检测框,所以这一层会预测 共 个检测框。
-
接着再做一次下采样,得到 的特征图。
这里预测 6 个检测框,所以这一层会预测 共 个检测框。
-
接着在做一次下采样,得到 的特征图。
这里预测 6 个检测框,所以这一层会预测 共 个检测框。
-
接着再做一次下采样,得到 的特征图。
这里预测 4 个检测框,所以这一层会预测 共 个检测框。
-
最后再做一次下采样,得到 的特征图。
这里预测 4 个检测框,所以这一层会预测 共 个检测框。
全部加起来: 个检测框。
正负样本匹配策略
在训练期间,我们需要确定每个真实标记框对应哪些默认框。
每个真实标记框需要从多个默认框中进行匹配;默认框分布在不同位置,并有不同宽高比和尺度,以便涵盖图像中各种形状和大小的物体。
在这里,作者通过计算 Jaccard 重叠度(即交集与并集的比值,通常称为 IoU, Intersection over Union)来决定哪些默认框与真实标记框匹配。
对于每个真实标记框,首先找到 IoU 最高的默认框,这样能确保每个真实标记框至少有一个匹配的默认框。这一步让网络有对应的框可学习位置调整。
与 MultiBox 的匹配方式相比,SSD 在第一步完成后,还会将所有与任一真实框 IoU 大于 0.5 的默认框匹配。这种策略允许多个重叠的默认框成为正样本,而不是只保留每个真实框的最佳匹配。
这样,当存在多个合适的预测框时,网络能够更灵活地进行学习,提高预测的准确性。
训练目标
SSD 的训练目标基于 MultiBox 的目标函数,但进一步扩展为能处理多个物体类别。
具体来说,设 为一个指示变数,表示第 个默认框是否匹配第 个属于类别 的真实标记框。在 SSD 的匹配策略中,每个真实框可以匹配多个默认框,因此 。
SSD 的总损失函数由定位损失(localization loss, )和置信损失(confidence loss, )的加权和组成:
其中, 是匹配的默认框数量,若 则损失设为 0。参数 通过交叉验证设为 1。
-
定位损失(Localization Loss)
定位损失用 Smooth L1 损失来衡量预测偏移量()与真实标记框相对默认框()的目标偏移量()之间的差异。与 Faster R-CNN 类似,对框中心点 以及宽度 和高度 进行回归,公式如下:
其中,真实标记框的偏移量 计算如下:
-
置信损失(Confidence Loss)
置信损失是基于 softmax 损失,用来度量预测的类别分数与真实类别之间的差异:
其中, 表示类别 的预测概率,计算公式为:
匹配后大多数默认框是背景,作者会按置信损失选较难的负样本,使负样本与正样本数量比最多为 3:1,而非全数纳入训练。
预测框的尺度与宽高比选择
SSD 中的预测框尺度和宽高比是精心设计的,假设我们使用 个特征图来进行预测,则每层特征图的预测框尺度 的计算公式为:
其中,。这表示最低层特征图的预测框尺度为 0.2,最高层为 0.9,中间层的尺度按比例等距排列。
预测框设置了不同的宽高比,记作。
每个预测框的宽度与高度分别为:
此外,对于宽高比为 1 的预测框,还增加了一个额外的预测框,其尺度为:
这组宽高比设计一般会在每个位置产生 6 个默认框;上图的 SSD300 配置在 conv4_3、conv10_2、conv11_2 省去 与 ,因此这三层各只有 4 个,才会得到前面算出的 8732 个框。
预测框的中心位置设置为:
其中, 是第 层特征图的大小,。上述 是一般尺度公式;VOC 的 SSD300 在最早的 conv4_3 层另设尺度 0.1。
通过结合不同位置、不同尺度和宽高比的预测框预测,SSD 能够覆盖各种大小和形状的物体。例如,在下图中,狗的真实框与 4×4 特征图上的预测框匹配,但与 8×8 特征图上的预测框没有匹配,因为后者的预测框尺度与狗的大小不符,因此这些预测框在训练中被视为负样本。
讨论
作者对于模型设计的部分,进行了大量的分析,我们接着来看看他们的实验结果。
数据增强
数据增强的部分,请看上表的第一栏和最后一栏。
SSD 采用了与 YOLO 类似的更广泛的图像裁切与变形策略。表中只切换这项设置时,VOC2007 test mAP 从 65.5% 升至 74.3%,增加 8.8 个百分点。作者推测使用 RoI 池化的其他方法可能受益较少,但这张表没有测试那些方法。
多样的预测框形状
预测框的形状设计对性能有显著影响。
在表中以六种默认框为基准的消融配置,每个位置使用不同尺度和宽高比的框(1/3、1/2、1、2、3,以及额外一个宽高比为 1 的尺度);前述 SSD300 实际六层配置有 4 个框的位置,不宜把「六个」套到每一层。
- 当移除宽高比为 1/3 和 3 的默认框时,mAP 从 74.3% 降至 73.7%,下降 0.6 个百分点。
- 在此基础上再移除宽高比为 1/2 和 2 的默认框时,mAP 降至 71.6%,再下降 2.1 个百分点。
这表明,使用多样化的预测框形状有助于网络更容易预测边界框,从而提升准确性。
空洞卷积
SSD 使用了 Atrous 卷积与调整后的 VGG16 高层配置。表中改用完整 VGG16、保留原本 pool5 设置、改变 fc6/fc7 参数采样并加入 conv5_3 预测时,mAP 为 74.2%,与原配置 74.3% 接近,但速度约慢 20%。
这组对照同时更动了数个设计,因此不能把速度差单独归因于 Atrous 卷积。
类别分析
作者对不同类别(如动物、车辆、家具)进行了详细分析,并研究了假阳性(false positives)在不同类别中的分布情况。
上层图展示了随着检测数量增加,正确检测与不同假阳性类型的累积占比;红色实线是 0.5 IoU 标准下的召回率,虚线是 0.1 IoU 标准,后者较高。
下层图展示了在不同类别中的假阳性类型,包括由于定位不准确(Loc)、与相似类别混淆(Sim)、与其他类别混淆(Oth)以及背景(BG)误检。
这张图比较的是动物、车辆与家具三组类别的检测与错误型态;物体尺寸和宽高比要看下一张图。
物体尺寸分析
作者也探讨了物体边界框面积和宽高比对模型性能的影响。
左图显示各类别的超小与小型物体表现明显低于较大物体;例如 SSD300 的 chair 在 XS 约 0.09、M 约 0.67。SSD512 的 XS 通常有所改善。右图的宽高比结果随类别而变,没有一致的「越极端越差」趋势;这组结果支持作者使用多种默认框形状的设计。
COCO 数据集上的表现
COCO 数据集中的物体通常比 PASCAL VOC 数据集中的物体要小,因此 SSD 在 COCO 上训练时,选择了更小的预测框来适应这些小物体。
- 预测框的最小尺度( )从 0.2 缩小到 0.15,对于 conv4_3 层的默认框尺度更小,为 0.07(在 300×300 图像中相当于 21 像素)。
- 对于 SSD512 模型,进一步调整预测框的最小尺度( )到 0.1,并在 conv4_3 层上设置为 0.04。
- SSD300 和 SSD512 模型的训练数据来自 trainval35k 数据集。
- 模型的训练过程分为三个阶段:首先使用学习率 进行 16 万次迭代,接着用 进行 4 万次迭代,最后用 再进行 4 万次迭代。
SSD300 在 COCO test-dev2015 上的 [email protected] 41.2 和 AP@[0.5:0.95] 23.2,均高于表中 Fast R-CNN 的两种设置;[email protected] 为 23.4,接近 ION 的 23.6 与 Faster R-CNN 的 23.5,但 [email protected] 低于后者的 45.3。这些方法使用的 COCO 训练子集并不完全相同。
当图像大小增大到 512×512 时,SSD512 的 [email protected] 为 46.5、AP@[0.5:0.95] 为 26.8,均高于表中 Faster R-CNN 的 45.3 与 24.2。[email protected] 为 27.8,对方为 23.5,按表格相差 4.3 个百分点;[email protected] 只相差 1.2 个百分点。
与同一列 Faster R-CNN 相比,SSD512 的大物体 AP 高 4.8 个百分点、AR 高 4.6 个百分点;小物体 AP 只高 1.3 个百分点、AR 高 2.0 个百分点。因此这组 COCO 测试中,大物体的改善较明显,小物体仍是较难的情况。
可视化结果
结论
SSD 最大的优势在于不需要生成候选区域,直接从网络中提取特征进行物体检测。在论文列出的 PASCAL VOC 条件下,这兼顾了有竞争力的准确率和更快的速度。SSD-300 能够以每秒 59 帧的速度进行推论,这比同时期的 YOLO-v1 还要更快更准。
另外,SSD 使用来自多个特征图的输出进行多尺度物体检测。这样的设计可以让模型对不同大小和形状的物体进行有效检测。
SSD 作为一种高效的物体检测方法,值得我们深入研读。