返回论文笔记资料库
arXiv 2019CVPR 2019文本检测论文笔记

PSENet

逐步扩展策略

原始论文

Shape Robust Text Detection with Progressive Scale Expansion Network

论文作者

Wenhai Wang · Enze Xie · Xiang Li …

查看全部 7 位作者

Wenhai Wang · Enze Xie · Xiang Li · Wenbo Hou · Tong Lu · Gang Yu · Shuai Shao

发表版本
CVPR 2019会议
arXiv 首次提交
arXiv:1903.12473
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectionpsenet2019,
  title = {{Shape Robust Text Detection with Progressive Scale Expansion Network}},
  author = {Wenhai Wang and Enze Xie and Xiang Li and Wenbo Hou and Tong Lu and Gang Yu and Shuai Shao},
  year = {2019},
  eprint = {1903.12473},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1903.12473}
}
本页内容

随着卷积网络的发展逐渐成熟,各种分支的应用也逐渐增加。

其中,文本检测是一个非常重要的应用,因为它是许多应用的基础,例如 OCR、自动驾驶、图像检索等。然而,由于文本的形状和大小变化很大,因此设计一个通用的文本检测模型是一个具有挑战性的问题。

定义问题

比较早期的发展中,目标检测的技术是研究人员主要关注的方向,因此在文本检测的领域中,大多数的研究工作都是基于目标检测的技术进行的。

但目标检测的方法在文本上确实遇到很多困难,主要有几个因素:

  1. 文本形状变化剧烈

    大小变化很剧烈,这其实不是问题。因为在目标检测中,应用多尺度的特征并找到不同尺度的对象是一个很常见的做法。问题在于文本的形状变化很大。

    举例来说:一个文本,这个检测框可能是个正方形,但随着文本的增长,检测框会愈来愈长,长宽比也会愈来愈大。这种特性尤其在基于锚点的方法中,显得特别困难。

    因为我们已经基于一些基本知识定义了几个长宽比让模型参考,但文本的形状变化太大,难道我们要无上限的增加锚点吗?

  2. 矩形框不够贴合

    如上图 (b),文本除了长宽比变化剧烈之外,形状通常也不是规规矩矩的样子,像是路边的招牌,街景中的布条等等,这些形状可能是弯曲的、不规则的,矩形框很难贴合。

    检测通常是为了后续的分类,当检测形状不够贴合时,其实就已经失去了检测的意义。

  3. 像素分割难分难舍

    那改成使用基于分割的方法呢?

    如上图 (c),基于分割的方法有一个最明显的缺点:无法切分相邻和重叠的文本。这是因为基于分割的方法通常是基于像素的,而文本之间的间隔通常很小,这样的方法很难区分文本之间的边界。

    无法区分意味着检测失败,显然也是不可接受的。

为了解决上面提到的种种困难,本篇论文的作者基于分割的理念,提出了一个新的想法:不如我们就找到文本的核心,然后逐渐扩展,直到找到文本的边界,如何?

解决问题

模型架构

模型架构非常简单,上图左边就是常见的 Backbone + Neck 的 FPN 架构。

得到多尺度的特征图之后,先将四层特征上采样至同一尺寸并 Concat,再经卷积融合,由 nn 个分支预测不同尺度的文本分割图。仔细看上图,S1S_1 是最小的文本区块,S2S_2 是 S1S_1 的扩展,S3S_3 是 S2S_2 的扩展,以此类推,一直到 SnS_n。

这些监督数据是从数据集标签中生成的,生成方式如下图:

蓝色边框的多边形代表原始的文本实例,对应到最大的分割标注遮罩。利用 Vatti 裁剪算法将原始多边形逐步缩小,得到不同尺度的多边形 pip_i,并将每个缩小的多边形转换为二元遮罩,用作分割标注的 ground truth。

给定比例尺缩放率 rir_i,缩小的边距 did_i 可以根据以下公式计算:

di=Area(pn)×(1−ri2)Perimeter(pn)d_i = \frac{Area(p_n) \times (1 - r_i^2)}{Perimeter(p_n)}

其中,Area(⋅)Area(\cdot) 是计算多边形面积的函数,Perimeter(⋅)Perimeter(\cdot) 是计算多边形周长的函数。

比例尺缩放率 rir_i 定义如下:

ri=1−(1−m)×(n−i)n−1r_i = 1 - \frac{(1 - m) \times (n - i)}{n - 1}

其中,mm 是最小比例尺缩放率,范围在 (0,1](0, 1],比例尺缩放率 r1,r2,...,rnr_1, r_2, ..., r_n 由两个超参数 nn 和 mm 决定,并从 mm 线性增加至 1。

最终通过该方法生成的 ground truth 标注图形会对应到 PSENet 不同尺度的分割结果,使得模型能够在多尺度上学习文本实例的分割。

阶层式扩展

作者为了分离相邻的文本实例并恢复完整形状,提出了一个阶层式扩展的方法。

这个方法的核心概念源自广度优先搜索算法 (Breadth-First Search, BFS),其目的是逐步扩展已检测的文本实例核心(最小核)。

  • 初始阶段:如上图,根据最小核地图(S1S_1),识别出 4 个不同的连通区块,分别标示为 c1c_1、c2c_2、c3c_3、c4c_4。
  • 扩展阶段:逐步将最小核扩展至 S2S_2,接着扩展至 S3S_3,最终得到的连通区块作为文本实例的最终预测结果。

使用 BFS 从多个核像素开始,逐步将相邻的文本像素合并。在扩展过程中,可能会出现像素冲突的情况,处理方式为「先来先合并」,即一个像素只能被一个核合并。由于扩展过程是渐进的,因此这些边界冲突不会影响最终的检测结果和性能。

若要实现这个算法,可以论文中提供的参考算法说明,如下图:

  • 输入: 核心区块集 CC,分割结果 SiS_i
  • 输出: 扩展后的核心区块 EE
  • 主要步骤:
    1. 初始化空集 TT、PP 和队列 QQ。
    2. 将每个核心区块 cic_i 中的所有元素加入 TT 和 PP,并将 cic_i 加入队列 QQ。
    3. 逐一取出 QQ 中的元素,检查其邻居像素,若符合条件则将邻居像素加入 TT、PP 并继续扩展。
    4. 将扩展结果根据标签分组,得到最终的扩展核心区块 EE。

损失函数

PSENet 的损失函数定义为:

L=λLc+(1−λ)LsL = \lambda L_c + (1 - \lambda)L_s

其中,LcL_c 代表完整文本实例的损失,LsL_s 代表缩小文本实例的损失,λ\lambda 用来平衡这两者的重要性。

由于文本实例在自然图像中通常只占据极小区域,若使用二元交叉熵(binary cross entropy),可能会导致网络的预测偏向于非文本区域。

为此,作者采用 Dice 系数来评估损失,其公式如下:

D(Si,Gi)=2∑x,y(Si,x,y×Gi,x,y)∑x,ySi,x,y2+∑x,yGi,x,y2D(S_i, G_i) = \frac{2 \sum_{x,y}(S_{i,x,y} \times G_{i,x,y})}{\sum_{x,y} S_{i,x,y}^2 + \sum_{x,y} G_{i,x,y}^2}

其中,Si,x,yS_{i,x,y} 和 Gi,x,yG_{i,x,y} 分别表示分割结果和标注图中像素 (x,y)(x, y) 的值。

在训练过程中,为了区分与文本笔划类似的图像模式(如栅栏或格子),使用在线困难样本挖掘(OHEM)技术来提升LcL_c。

考虑 OHEM 提供的训练遮罩MM,LcL_c的公式为:

Lc=1−D(Sn⋅M,Gn⋅M)L_c = 1 - D(S_n \cdot M, G_n \cdot M)

由于缩小的文本实例被完整文本区域包围,因此在计算 LsL_s 时忽略分割结果中的「非文本区域」的像素,避免冗余。

LsL_s的公式如下:

Ls=1−∑i=1n−1D(Si⋅W,Gi⋅W)n−1L_s = 1 - \frac{\sum_{i=1}^{n-1} D(S_i \cdot W, G_i \cdot W)}{n - 1}

其中,WW是忽略非文本区域的遮罩,定义为:

Wx,y={1,If Sn,x,y≥0.5;0,Otherwise.W_{x,y} = \begin{cases} 1, & \text{If } S_{n,x,y} \geq 0.5; \\ 0, & \text{Otherwise}. \end{cases}

训练数据

  • CTW1500

    CTW1500 是一个针对长曲线文本检测的挑战性数据集,由 Yuliang 等人建构。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文本数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文本实例是由 14 个点的多边形标注,可以描述任意曲线文本的形状。

  • Total-Text

    Total-Text 是一个新发布的曲线文本检测数据集,包含水平、多方向及曲线文本实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。

  • ICDAR 2015

    ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文本区域由四个顶点的四边形标注。

  • ICDAR 2017 MLT

    IC17-MLT 是一个大规模的多语言文本数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。

训练策略

使用基于 ImageNet 预训练的 ResNet 作为主干网络,并通过随机梯度下降法(SGD)进行优化。

IC17-MLT 这个数据集的训练方式跟别人不一样:

在训练 IC17-MLT 时,未使用任何额外数据(如 SynthText)。模型训练时的 batch size 为 16,使用 4 张 GPU 进行 180K 次迭代。初始学习率设为 1×10−31 \times 10^{-3},并在 60K 和 120K 次迭代时将学习率降低至原来的十分之一。


除了 IC17-MLT 之外,其他数据集采用两种策略:直接在目标数据集训练,或从 IC17-MLT 训练好的模型微调。

直接训练时,Batch size 同样设为 16,使用 4 张 GPU 进行 36K 次迭代。初始学习率设为 1×10−31 \times 10^{-3},并在 12K 和 24K 次迭代时降低至十分之一。

从 IC17-MLT 模型微调至目标数据集时,训练迭代次数为 24K,初始学习率设为 1×10−41 \times 10^{-4},并在 12K 次迭代时将学习率降低至十分之一。

  • 优化与参数设置

    • 使用权重衰减值 5×10−45 \times 10^{-4},Nesterov 动量设为 0.99,且不使用阻尼。
    • 训练过程中,对所有数据集中 「DO NOT CARE」 的模糊文本区域忽略不计。
    • 损失函数平衡参数 λ\lambda 设为 0.7,OHEM 的负正样本比例设为 3。
  • 数据增强策略

    • 图片以随机比例 [0.5, 1.0, 2.0, 3.0] 进行缩放。
    • 图片进行随机水平翻转和旋转,范围在正负 10 度之间。
    • 从变换后的图片中随机裁剪出 640×640640 \times 640 的样本。
  • 结果生成

    • 对于四边形文本数据集,计算最小面积矩形以提取边界框。
    • 对于曲线文本数据集,应用 PSE 的输出来生成最终结果。

讨论

各组件设计的影响

  1. 核心区块 (Kernel) 能作为最终结果吗?

    答案是不能。

    核心区块的目的是大致定位文本实例,并区分彼此相邻的文本实例。然而,最小尺度的核心区块无法覆盖完整的文本区域,这对文本检测和识别造成了不利影响。如上图 (a) 所示,仅使用最小尺度核心区块作为最终结果,F-measure 在 ICDAR 2015 和 CTW1500 数据集上的表现极差。

  2. 最小核心尺度的影响

    作者通过设置核心数量 n=2n = 2,并让最小核心尺度 mm 从 1 变动到 0.1,来研究其对性能的影响。

    从上图 (a)可以看出,当 mm 太大或太小时,测试集上的 F-measure 会下降。当 m=1m = 1 时,我们仅使用文本分割图作为最终结果,且不使用渐进尺度扩展算法(PSE),结果显示没有 PSE 的基线表现不理想,因为网络无法区分彼此相邻的文本实例。

    当 mm 过大时,PSENet 难以分离靠近的文本实例;而当 mm 过小时,PSENet 常常错误地将整个文本行分割为不同部分,且训练难以收敛。

  3. 核心数量的影响

    作者通过保持最小尺度 mm 不变,并训练不同核心数量 nn 的 PSENet 来研究其影响。作者设置 ICDAR 2015 数据集上的 m=0.4m = 0.4,CTW1500 数据集上的 m=0.6m = 0.6,并让 nn 从 2 增加到 10。

    结果如上图 (b) 所示,随着 nn 的增加,测试集上的 F-measure 逐渐上升,并在 n≥5n \geq 5 时趋于平稳。多核心的优势在于,它们彼此相邻时可以精确重建两个大小差异较大的文本实例。

曲线文本实验结果

为了测试曲线文本的检测能力,作者们在 CTW1500 和 Total-Text 两个数据集上评估了 PSENet;两者都包含曲线文本。

在测试阶段,将图片的较长边缩放至 1280,并且只使用 ResNet50 作为主干网络。

  • CTW1500

    PSENet-1s 在 CTW1500 上未使用额外数据时,F-measure 为 78.0%;使用 IC17-MLT 模型微调后为 82.2%,比 CTD+TLOC 高 8.8 个百分点,比 TextSnake 高 6.6 个百分点。这两个比较对象的额外数据条件不同,需分开看。

  • Total-Text

    在 Total-Text 上,使用额外数据的 PSENet-1s 的精度、召回率和 F-measure 分别为 84.02%、77.96% 和 80.87%;F-measure 比 TextSnake 的 78.4% 高 2.47 个百分点,但未使用额外数据的 PSENet-1s 为 78.3%。相较 DeconvNet 基准的 36.0%,前者高出 44.87 个百分点;表中的 EAST 和 SegLink 未在 Total-Text 微调,仅供参考。


作者也展示了几个挑战性的结果,并将其与现有的 CTD+TLOC 方法进行视觉比较,如下图:

ICDAR2015 实验结果

作者在 ICDAR 2015 (IC15) 数据集上评估了 PSENet,以测试其方向文本检测能力。这里仅使用 ResNet50 作为 PSENet 的主干网络。在推理过程中,将输入图片的长边缩放至 2240。

在单尺度且使用额外数据的 PSENet-1s 设置下,F-measure 达到 85.69%,比表中先前最高的 TextSnake 82.6% 高约 3.1 个百分点;未使用额外数据的 PSENet-1s 为 80.6%。

速度分析

作者在 CTW1500 的测试集上进行实验,对所有测试图片进行评估并计算平均速度。输入图片的长边缩放至 [1280, 960, 640] 来测试速度。所有结果均使用 PyTorch 和一张 1080Ti GPU 进行测试。

为了在速度与准确率之间取得平衡,使用了 ResNet50 和 ResNet18 作为主干网络。

  • 当输出特征图的大小为输入图片的 1/1 时,PSENet 能够获得最佳性能,但由于特征图较大,PSE 阶段的时间消耗超过了总推理时间的一半。
  • 当输出特征图的大小为输入图片的 1/4 时,PSENet 的每秒帧数(FPS)从 3.9 提升到 8.4,但性能从 82.2%略微下降至 79.9%,如表 2 所示。此时 PSE 阶段的时间消耗不到总推理时间的十分之一。
  • 当将图片的长边缩放至 640 时,FPS 进一步提升至 22,且检测器的性能仍然保持不错(75.6%)。

当使用 ResNet18 作为主干网络、长边缩放至 960 且不使用额外文本数据训练时,PSENet 的速度为 26.75 FPS,F-measure 为 74.3%。

结论

PSENet 的核心思想是通过逐步扩展来解决不规则形状的场景文本问题。但不管怎么说,最后还是需要一定的后处理来确定文本区域,这在实际应用中会增加一些计算量和复杂性。

而且逐步扩展策略依赖于初期识别的文本核心区域。如果核心区域检测错误,后续的扩展步骤会受到影响,进而影响最终的检测结果。

总之 PSENet 在精度和速度上取得了不错的平衡,适合用于许多实际应用场景。相对于其他基于语义分割或目标检测的方法,PSENet 提供了一个新的思路来处理场景中难以检测的文本,使得文本检测领域向前迈出了一大步。