YOLO9000: Better, Faster, Stronger
- 发表版本
- CVPR 2017会议
- arXiv 首次提交
- arXiv:1612.08242
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{objectdetectionyolov22016,
title = {{YOLO9000: Better, Faster, Stronger}},
author = {Joseph Redmon and Ali Farhadi},
year = {2016},
eprint = {1612.08242},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1612.08242}
}
定义问题
回顾 YOLO v1,在最后的分析章节中,作者指出 YOLO v1 存在大量定位错误,还有低召回率的问题。
为了解决这个问题,引入锚点的概念看起来势在必行。
除此之外,近期也有许多更好的训练方式被提出来,在这里作者也把这些方法一起纳入考量。
解决问题
锚框选择
首先是锚框的选择,之前的方法是使用一组固定比例的锚框,例如 1:1, 1:2, 2:1 等等,但作者认为既然要用在特定的数据集上,那不妨直接在数据集上找到最佳的锚框。
这里采用的方法就是把训练数据中标注框的宽、高拿来做 K-means 聚类,并以 作为距离,找到适合数据集的锚框尺寸。
如上图,作者分别在 COCO 与 VOC 数据集上测试不同数量的锚框,发现使用 5 个锚框可以在召回率和模型复杂度之间取得良好的权衡。
预测框设计
在 Faster R-CNN 的论文中,使用 RPN 进行区域提议,模型最后会预测一个偏移量,这个偏移量会被用来修正预测框。
在上一版的 YOLO 中,作者使用了 7x7 的网格,每个网格预测 2 个框,这其实是一个不受限制的预测空间,这样的设计相比于 Faster R-CNN 来说,模型负担更大。因此这里作者也引入了偏移量的概念,通过更多的先验知识,降低模型的负担。
修改后的设计如上图,模型预测的数值从原本的 改为 ,每个部分的处理方式如下:
-
与 代表网格中心的偏移量,预测结果经过一层 sigmoid 函数,使得预测结果介于 0 与 1 之间,也就是说预测中心不会超出网格的范围。上图中的 与 代表网格的左上角坐标。
-
与 代表预测框的宽高,预测结果会先经过 exp 函数,使得预测结果为正数,然后再乘上锚框的宽高。
引入锚框时,作者也将网络的输入从原本的 448x448 改为 416x416,使网格大小变为 13x13,让图像中央有唯一一个网格,可用来预测常位于中央的大物体。在消融实验中,单独引入锚框使 mAP 从 69.5 略降至 69.2,但召回率从 81% 提升到 88%;后续才加入聚类尺寸与受限的中心点预测。
多尺度训练
除了调整预测框的设计,作者也引入了多尺度训练的概念。
在模型的训练过程中,作者会每隔 10 个 batch 就随机选择一个尺度,以 32 的倍数提取,例如 320x320, 352x352, 384x384 等,最小的尺度为 320x320,最大的尺度为 608x608。
这种方式可以让模型在不同尺度下都有很好的表现,并且可以提升模型的泛化能力。
Darknet-19
为了得到更快的推理速度,作者不使用其他现成的骨干网络,而是自己设计了一个网络,称为 Darknet-19,模型架构设计如上表。
和 VGG 类似,作者主要使用 3x3 的卷积核,在池化后增加通道数,使用批标准化,并以 1x1 卷积和全局平均池化完成分类。这个模型先在 ImageNet 上进行训练,再以 448x448 图像微调后,top1 准确度达到 76.5%,top5 准确度达到 93.3%。训练过程中使用标准的图像增强技术,例如随机裁剪、旋转和色彩变化。
最后把这个模型转移到目标检测的任务上,替换原本的分类头,加入检测用卷积层及高分辨率特征的 passthrough 连接后进行微调,这样就完成了整个模型的设计。
分类头设计
为了拓展目标检测的类别数量,作者引入了 WordTree 的概念。
作者通过将分类和检测数据集联合训练来提升物体检测和分类的能力。该方法利用带有检测标签的图像学习检测特定信息,如边界框坐标和物体存在性,并利用只有类别标签的图像扩展可检测的物体类别。
这种方法面临的挑战之一是如何合并两个数据集的标签,因为检测数据集通常只有一般标签(如「狗」或「船」),而分类数据集则有更详细的标签(如各种狗的品种)。传统的分类方法使用 softmax 层来计算所有可能类别的最终概率分布,假设类别之间是互斥的,这在合并数据集时会引起问题。因此,作者提出使用 WordNet 构建一个层次树模型 WordTree,以解决这一问题。
WordTree 模型利用 WordNet 的概念关系建立层次树,从而能够进行更细致的分类。这种模型在同一父节点的子类别之间使用 softmax 预测条件概率,并通过乘积计算特定节点的概率。例如:要知道一张图片是否是诺福克梗,只需沿着从根节点到该节点的路径,乘上每个节点的条件概率。
作者将这种层次结构应用于分类和检测任务,训练了一个名为 YOLO9000 的模型。这个模型使用 COCO 检测数据集和 ImageNet 分类数据集进行联合训练,能实时预测 9000 多个物体类别。实验结果表明,在 ImageNet 检测任务中,YOLO9000 对没有标注检测数据的 156 个类别取得 16.0 mAP。
讨论
在 PASCAL VOC 上的实验
如上表,作者在 PASCAL VOC 2007 上进行了实验,结果显示 YOLOv2 在速度和准确性之间取得了良好的平衡。
- 在 288 × 288 的分辨率下,YOLOv2 的速度超过 90 FPS,mAP 几乎与 Fast R-CNN 一样好。这使得它非常适合较小的 GPU、高帧率视频或多路视频流。
- 在 416 × 416 的分辨率下,YOLOv2 的 mAP 达到 76.8%,速度为 67 FPS,这无疑是当时最先进的检测器之一。
从 V1 到 V2
上表展示了作者如何通过不同的设计来改进 YOLO 的性能。
从增加 BatchNorm 开始,作者逐步引入了高分辨率分类器、全卷积检测头、新骨干网络、聚类锚框尺寸、中心点预测、passthrough 与多尺度训练等设计。这些改进使得 YOLOv2 在速度和准确性之间取得了更好的平衡。
这里可以注意到,单独引入 anchor boxes 时 mAP 从 69.5 降到 69.2;之后改用聚类所得的尺寸,并加入受限的中心点预测,mAP 才提升到 74.4。表中的每一栏代表累积修改后的结果。
结论
YOLOv2 引入锚点技术,增强了对小型物体的侦测能力,并且使用 batchnorm 来降低对特定数据集的过度拟合,从而提高了模型的泛化能力。同时,模型能够进行端到端的训练和预测,这使得整个训练过程更为简化和高效。另一方面,这个模型也存在一些缺点,例如在处理形状不规则的物体的定位上可能不如其他方法如 Faster R-CNN 那么精确。
尽管准确度略低,但没关系,至少它很快!
仅凭这点就足以让它成为当时最受欢迎的物体检测模型。