返回论文笔记资料库
arXiv 2015ECCV 2016目标检测论文笔记

SSD

省时省力省池化

原始论文

SSD: Single Shot MultiBox Detector

论文作者

Wei Liu · Dragomir Anguelov · Dumitru Erhan …

查看全部 7 位作者

Wei Liu · Dragomir Anguelov · Dumitru Erhan · Christian Szegedy · Scott Reed · Cheng-Yang Fu · Alexander C. Berg

发表版本
ECCV 2016会议
arXiv 首次提交
arXiv:1512.02325
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{objectdetectionssd2015,
  title = {{SSD: Single Shot MultiBox Detector}},
  author = {Wei Liu and Dragomir Anguelov and Dumitru Erhan and Christian Szegedy and Scott Reed and Cheng-Yang Fu and Alexander C. Berg},
  year = {2015},
  eprint = {1512.02325},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1512.02325}
}
本页内容

Faster RCNN 依然是业界的标杆。

最常看到的标准作业流程大概是这样:

  1. 边界框提议(Bounding Box Proposal):使用 RPN 产生候选框。
  2. 对每个框重新采样特征(ROI Pooling)
  3. 送进分类器进行分类

定义问题

这些方法很准,但是计算量还是太大,特别对于一些嵌入式系统来说,即使用最快的检测器 Faster RCNN,也大概只能达到 7 FPS。

作者认为效率瓶颈在于对每个候选框都要进行特征重采样和分类;Faster R-CNN 的图像骨干特征是共享的,或许......

我们可以省略这个步骤。

解决问题

模型架构

为了解决这个问题,作者提出了 SSD 架构,上图是 SSD 和 YOLO-v1 的比较图。

可以看到在 SSD 的设计中,完全舍弃了区域提议的步骤,改成直接从每个特征图的像素进行预测。

这个图看起来可能比较抽象,我们分解一下:

  1. 首先使用 VGG 作为 Backbone,取出最 1/8 尺度特征图,尺寸是 38×3838 \times 38。

    这里让特征图每个位置对 4 个不同尺度/宽高比的默认框,分别预测类别分数与框位置偏移量。

    所以在这一层会预测 38×38×438 \times 38 \times 4 共 57765776 个检测框。


  1. 接着对特征图做下采样,得到 19×1919 \times 19 的特征图。

    这里跟上面不一样,而是要预测 6 个检测框,所以这一层会预测 19×19×619 \times 19 \times 6 共 21662166 个检测框。


  1. 接着再做一次下采样,得到 10×1010 \times 10 的特征图。

    这里预测 6 个检测框,所以这一层会预测 10×10×610 \times 10 \times 6 共 600600 个检测框。


  1. 接着在做一次下采样,得到 5×55 \times 5 的特征图。

    这里预测 6 个检测框,所以这一层会预测 5×5×65 \times 5 \times 6 共 150150 个检测框。


  1. 接着再做一次下采样,得到 3×33 \times 3 的特征图。

    这里预测 4 个检测框,所以这一层会预测 3×3×43 \times 3 \times 4 共 3636 个检测框。


  1. 最后再做一次下采样,得到 1×11 \times 1 的特征图。

    这里预测 4 个检测框,所以这一层会预测 1×1×41 \times 1 \times 4 共 44 个检测框。


全部加起来:5776+2166+600+150+36+4=87325776 + 2166 + 600 + 150 + 36 + 4 = 8732 个检测框。

正负样本匹配策略

在训练期间,我们需要确定每个真实标记框对应哪些默认框。

每个真实标记框需要从多个默认框中进行匹配;默认框分布在不同位置,并有不同宽高比和尺度,以便涵盖图像中各种形状和大小的物体。

在这里,作者通过计算 Jaccard 重叠度(即交集与并集的比值,通常称为 IoU, Intersection over Union)来决定哪些默认框与真实标记框匹配。

对于每个真实标记框,首先找到 IoU 最高的默认框,这样能确保每个真实标记框至少有一个匹配的默认框。这一步让网络有对应的框可学习位置调整。

与 MultiBox 的匹配方式相比,SSD 在第一步完成后,还会将所有与任一真实框 IoU 大于 0.5 的默认框匹配。这种策略允许多个重叠的默认框成为正样本,而不是只保留每个真实框的最佳匹配。

这样,当存在多个合适的预测框时,网络能够更灵活地进行学习,提高预测的准确性。

训练目标

SSD 的训练目标基于 MultiBox 的目标函数,但进一步扩展为能处理多个物体类别。

具体来说,设 xpij={1,0}x_{pij} = \{1, 0\} 为一个指示变数,表示第 ii 个默认框是否匹配第 jj 个属于类别 pp 的真实标记框。在 SSD 的匹配策略中,每个真实框可以匹配多个默认框,因此 ∑ixpij≥1\sum_i x_{pij} \geq 1。

SSD 的总损失函数由定位损失(localization loss, LlocL_{loc})和置信损失(confidence loss, LconfL_{conf})的加权和组成:

L(x,c,l,g)=1N(Lconf(x,c)+αLloc(x,l,g))L(x, c, l, g) = \frac{1}{N}(L_{conf}(x, c) + \alpha L_{loc}(x, l, g))

其中,NN 是匹配的默认框数量,若 N=0N=0 则损失设为 0。参数 α\alpha 通过交叉验证设为 1。

  • 定位损失(Localization Loss)

    定位损失用 Smooth L1 损失来衡量预测偏移量(ll)与真实标记框相对默认框(dd)的目标偏移量(g^\hat g)之间的差异。与 Faster R-CNN 类似,对框中心点 (cx,cy)(cx, cy) 以及宽度 (w)(w) 和高度 (h)(h) 进行回归,公式如下:

    Lloc(x,l,g)=∑i∈Pos∑m∈{cx,cy,w,h}xijk⋅smoothL1(lim−g^jm)L_{loc}(x, l, g) = \sum_{i \in Pos} \sum_{m \in \{cx, cy, w, h\}} x_{ij}^k \cdot smoothL1(l^m_i - \hat{g}^m_j)

    其中,真实标记框的偏移量 g^\hat{g} 计算如下:

    g^jcx=gjcx−dicxdiw,g^jcy=gjcy−dicydih\hat{g}^{cx}_j = \frac{g^{cx}_j - d^{cx}_i}{d^w_i}, \quad \hat{g}^{cy}_j = \frac{g^{cy}_j - d^{cy}_i}{d^h_i} g^jw=log⁡gjwdiw,g^jh=log⁡gjhdih\hat{g}^w_j = \log \frac{g^w_j}{d^w_i}, \quad \hat{g}^h_j = \log \frac{g^h_j}{d^h_i}
  • 置信损失(Confidence Loss)

    置信损失是基于 softmax 损失,用来度量预测的类别分数与真实类别之间的差异:

    Lconf(x,c)=−∑i∈Posxijplog⁡(c^ip)−∑i∈Neglog⁡(c^i0)L_{conf}(x, c) = - \sum_{i \in Pos} x_{ij}^p \log(\hat{c}^p_i) - \sum_{i \in Neg} \log(\hat{c}^0_i)

    其中,c^ip\hat{c}^p_i 表示类别 pp 的预测概率,计算公式为:

    c^ip=exp⁡(cip)∑pexp⁡(cip)\hat{c}^p_i = \frac{\exp(c^p_i)}{\sum_p \exp(c^p_i)}

    匹配后大多数默认框是背景,作者会按置信损失选较难的负样本,使负样本与正样本数量比最多为 3:1,而非全数纳入训练。

预测框的尺度与宽高比选择

SSD 中的预测框尺度和宽高比是精心设计的,假设我们使用 mm 个特征图来进行预测,则每层特征图的预测框尺度 sksk 的计算公式为:

sk=smin+smax−sminm−1(k−1),k∈[1,m]s_k = s_{\text{min}} + \frac{s_{\text{max}} - s_{\text{min}}}{m - 1}(k - 1), \quad k \in [1, m]

其中smin=0.2s_{\text{min}} = 0.2,smax=0.9s_{\text{max}} = 0.9。这表示最低层特征图的预测框尺度为 0.2,最高层为 0.9,中间层的尺度按比例等距排列。

预测框设置了不同的宽高比,记作ar∈{1,2,3,12,13}a_r \in \{1, 2, 3, \frac{1}{2}, \frac{1}{3}\}。

每个预测框的宽度与高度分别为:

wka=skar,hka=skarw^a_k = s_k \sqrt{a_r}, \quad h^a_k = \frac{s_k}{\sqrt{a_r}}

此外,对于宽高比为 1 的预测框,还增加了一个额外的预测框,其尺度为:

sk′=sksk+1s'_k = \sqrt{s_k s_{k+1}}

这组宽高比设计一般会在每个位置产生 6 个默认框;上图的 SSD300 配置在 conv4_3、conv10_2、conv11_2 省去 1/31/3 与 33,因此这三层各只有 4 个,才会得到前面算出的 8732 个框。

预测框的中心位置设置为:

(i+0.5∣fk∣,j+0.5∣fk∣)\left( \frac{i+0.5}{|f_k|}, \frac{j+0.5}{|f_k|} \right)

其中,∣fk∣|f_k| 是第 kk 层特征图的大小,i,j∈[0,∣fk∣)i, j \in [0, |f_k|)。上述 smin=0.2s_{\text{min}}=0.2 是一般尺度公式;VOC 的 SSD300 在最早的 conv4_3 层另设尺度 0.1。

通过结合不同位置、不同尺度和宽高比的预测框预测,SSD 能够覆盖各种大小和形状的物体。例如,在下图中,狗的真实框与 4×4 特征图上的预测框匹配,但与 8×8 特征图上的预测框没有匹配,因为后者的预测框尺度与狗的大小不符,因此这些预测框在训练中被视为负样本。

讨论

作者对于模型设计的部分,进行了大量的分析,我们接着来看看他们的实验结果。

数据增强

数据增强的部分,请看上表的第一栏和最后一栏。

SSD 采用了与 YOLO 类似的更广泛的图像裁切与变形策略。表中只切换这项设置时,VOC2007 test mAP 从 65.5% 升至 74.3%,增加 8.8 个百分点。作者推测使用 RoI 池化的其他方法可能受益较少,但这张表没有测试那些方法。

多样的预测框形状

预测框的形状设计对性能有显著影响。

在表中以六种默认框为基准的消融配置,每个位置使用不同尺度和宽高比的框(1/3、1/2、1、2、3,以及额外一个宽高比为 1 的尺度);前述 SSD300 实际六层配置有 4 个框的位置,不宜把「六个」套到每一层。

  • 当移除宽高比为 1/3 和 3 的默认框时,mAP 从 74.3% 降至 73.7%,下降 0.6 个百分点。
  • 在此基础上再移除宽高比为 1/2 和 2 的默认框时,mAP 降至 71.6%,再下降 2.1 个百分点。

这表明,使用多样化的预测框形状有助于网络更容易预测边界框,从而提升准确性。

空洞卷积

SSD 使用了 Atrous 卷积与调整后的 VGG16 高层配置。表中改用完整 VGG16、保留原本 pool5 设置、改变 fc6/fc7 参数采样并加入 conv5_3 预测时,mAP 为 74.2%,与原配置 74.3% 接近,但速度约慢 20%。

这组对照同时更动了数个设计,因此不能把速度差单独归因于 Atrous 卷积。

类别分析

作者对不同类别(如动物、车辆、家具)进行了详细分析,并研究了假阳性(false positives)在不同类别中的分布情况。

上层图展示了随着检测数量增加,正确检测与不同假阳性类型的累积占比;红色实线是 0.5 IoU 标准下的召回率,虚线是 0.1 IoU 标准,后者较高。

下层图展示了在不同类别中的假阳性类型,包括由于定位不准确(Loc)、与相似类别混淆(Sim)、与其他类别混淆(Oth)以及背景(BG)误检。

这张图比较的是动物、车辆与家具三组类别的检测与错误型态;物体尺寸和宽高比要看下一张图。

物体尺寸分析

作者也探讨了物体边界框面积和宽高比对模型性能的影响。

左图显示各类别的超小与小型物体表现明显低于较大物体;例如 SSD300 的 chair 在 XS 约 0.09、M 约 0.67。SSD512 的 XS 通常有所改善。右图的宽高比结果随类别而变,没有一致的「越极端越差」趋势;这组结果支持作者使用多种默认框形状的设计。

COCO 数据集上的表现

COCO 数据集中的物体通常比 PASCAL VOC 数据集中的物体要小,因此 SSD 在 COCO 上训练时,选择了更小的预测框来适应这些小物体。

  • 预测框的最小尺度( smins_{\text{min}} )从 0.2 缩小到 0.15,对于 conv4_3 层的默认框尺度更小,为 0.07(在 300×300 图像中相当于 21 像素)。
  • 对于 SSD512 模型,进一步调整预测框的最小尺度( smins_{\text{min}} )到 0.1,并在 conv4_3 层上设置为 0.04。
  • SSD300 和 SSD512 模型的训练数据来自 trainval35k 数据集。
  • 模型的训练过程分为三个阶段:首先使用学习率 10−310^{-3} 进行 16 万次迭代,接着用 10−410^{-4} 进行 4 万次迭代,最后用 10−510^{-5} 再进行 4 万次迭代。

SSD300 在 COCO test-dev2015 上的 [email protected] 41.2 和 AP@[0.5:0.95] 23.2,均高于表中 Fast R-CNN 的两种设置;[email protected] 为 23.4,接近 ION 的 23.6 与 Faster R-CNN 的 23.5,但 [email protected] 低于后者的 45.3。这些方法使用的 COCO 训练子集并不完全相同。

当图像大小增大到 512×512 时,SSD512 的 [email protected] 为 46.5、AP@[0.5:0.95] 为 26.8,均高于表中 Faster R-CNN 的 45.3 与 24.2。[email protected] 为 27.8,对方为 23.5,按表格相差 4.3 个百分点;[email protected] 只相差 1.2 个百分点。

与同一列 Faster R-CNN 相比,SSD512 的大物体 AP 高 4.8 个百分点、AR 高 4.6 个百分点;小物体 AP 只高 1.3 个百分点、AR 高 2.0 个百分点。因此这组 COCO 测试中,大物体的改善较明显,小物体仍是较难的情况。

可视化结果

结论

SSD 最大的优势在于不需要生成候选区域,直接从网络中提取特征进行物体检测。在论文列出的 PASCAL VOC 条件下,这兼顾了有竞争力的准确率和更快的速度。SSD-300 能够以每秒 59 帧的速度进行推论,这比同时期的 YOLO-v1 还要更快更准。

另外,SSD 使用来自多个特征图的输出进行多尺度物体检测。这样的设计可以让模型对不同大小和形状的物体进行有效检测。

SSD 作为一种高效的物体检测方法,值得我们深入研读。