Shape Robust Text Detection with Progressive Scale Expansion Network
- 发表版本
- CVPR 2019会议
- arXiv 首次提交
- arXiv:1903.12473
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectionpsenet2019,
title = {{Shape Robust Text Detection with Progressive Scale Expansion Network}},
author = {Wenhai Wang and Enze Xie and Xiang Li and Wenbo Hou and Tong Lu and Gang Yu and Shuai Shao},
year = {2019},
eprint = {1903.12473},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1903.12473}
}
随着卷积网络的发展逐渐成熟,各种分支的应用也逐渐增加。
其中,文本检测是一个非常重要的应用,因为它是许多应用的基础,例如 OCR、自动驾驶、图像检索等。然而,由于文本的形状和大小变化很大,因此设计一个通用的文本检测模型是一个具有挑战性的问题。
定义问题
比较早期的发展中,目标检测的技术是研究人员主要关注的方向,因此在文本检测的领域中,大多数的研究工作都是基于目标检测的技术进行的。
但目标检测的方法在文本上确实遇到很多困难,主要有几个因素:
-
文本形状变化剧烈
大小变化很剧烈,这其实不是问题。因为在目标检测中,应用多尺度的特征并找到不同尺度的对象是一个很常见的做法。问题在于文本的形状变化很大。
举例来说:一个文本,这个检测框可能是个正方形,但随着文本的增长,检测框会愈来愈长,长宽比也会愈来愈大。这种特性尤其在基于锚点的方法中,显得特别困难。
因为我们已经基于一些基本知识定义了几个长宽比让模型参考,但文本的形状变化太大,难道我们要无上限的增加锚点吗?
-
矩形框不够贴合
如上图 (b),文本除了长宽比变化剧烈之外,形状通常也不是规规矩矩的样子,像是路边的招牌,街景中的布条等等,这些形状可能是弯曲的、不规则的,矩形框很难贴合。
检测通常是为了后续的分类,当检测形状不够贴合时,其实就已经失去了检测的意义。
-
像素分割难分难舍
那改成使用基于分割的方法呢?
如上图 (c),基于分割的方法有一个最明显的缺点:无法切分相邻和重叠的文本。这是因为基于分割的方法通常是基于像素的,而文本之间的间隔通常很小,这样的方法很难区分文本之间的边界。
无法区分意味着检测失败,显然也是不可接受的。
为了解决上面提到的种种困难,本篇论文的作者基于分割的理念,提出了一个新的想法:不如我们就找到文本的核心,然后逐渐扩展,直到找到文本的边界,如何?
解决问题
模型架构
模型架构非常简单,上图左边就是常见的 Backbone + Neck 的 FPN 架构。
得到多尺度的特征图之后,先将四层特征上采样至同一尺寸并 Concat,再经卷积融合,由 个分支预测不同尺度的文本分割图。仔细看上图, 是最小的文本区块, 是 的扩展, 是 的扩展,以此类推,一直到 。
这些监督数据是从数据集标签中生成的,生成方式如下图:
蓝色边框的多边形代表原始的文本实例,对应到最大的分割标注遮罩。利用 Vatti 裁剪算法将原始多边形逐步缩小,得到不同尺度的多边形 ,并将每个缩小的多边形转换为二元遮罩,用作分割标注的 ground truth。
给定比例尺缩放率 ,缩小的边距 可以根据以下公式计算:
其中, 是计算多边形面积的函数, 是计算多边形周长的函数。
比例尺缩放率 定义如下:
其中, 是最小比例尺缩放率,范围在 ,比例尺缩放率 由两个超参数 和 决定,并从 线性增加至 1。
最终通过该方法生成的 ground truth 标注图形会对应到 PSENet 不同尺度的分割结果,使得模型能够在多尺度上学习文本实例的分割。
阶层式扩展
作者为了分离相邻的文本实例并恢复完整形状,提出了一个阶层式扩展的方法。
这个方法的核心概念源自广度优先搜索算法 (Breadth-First Search, BFS),其目的是逐步扩展已检测的文本实例核心(最小核)。
- 初始阶段:如上图,根据最小核地图(),识别出 4 个不同的连通区块,分别标示为 、、、。
- 扩展阶段:逐步将最小核扩展至 ,接着扩展至 ,最终得到的连通区块作为文本实例的最终预测结果。
使用 BFS 从多个核像素开始,逐步将相邻的文本像素合并。在扩展过程中,可能会出现像素冲突的情况,处理方式为「先来先合并」,即一个像素只能被一个核合并。由于扩展过程是渐进的,因此这些边界冲突不会影响最终的检测结果和性能。
若要实现这个算法,可以论文中提供的参考算法说明,如下图:
- 输入: 核心区块集 ,分割结果
- 输出: 扩展后的核心区块
- 主要步骤:
- 初始化空集 、 和队列 。
- 将每个核心区块 中的所有元素加入 和 ,并将 加入队列 。
- 逐一取出 中的元素,检查其邻居像素,若符合条件则将邻居像素加入 、 并继续扩展。
- 将扩展结果根据标签分组,得到最终的扩展核心区块 。
损失函数
PSENet 的损失函数定义为:
其中, 代表完整文本实例的损失, 代表缩小文本实例的损失, 用来平衡这两者的重要性。
由于文本实例在自然图像中通常只占据极小区域,若使用二元交叉熵(binary cross entropy),可能会导致网络的预测偏向于非文本区域。
为此,作者采用 Dice 系数来评估损失,其公式如下:
其中, 和 分别表示分割结果和标注图中像素 的值。
在训练过程中,为了区分与文本笔划类似的图像模式(如栅栏或格子),使用在线困难样本挖掘(OHEM)技术来提升。
考虑 OHEM 提供的训练遮罩,的公式为:
由于缩小的文本实例被完整文本区域包围,因此在计算 时忽略分割结果中的「非文本区域」的像素,避免冗余。
的公式如下:
其中,是忽略非文本区域的遮罩,定义为:
训练数据
-
CTW1500
CTW1500 是一个针对长曲线文本检测的挑战性数据集,由 Yuliang 等人建构。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文本数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文本实例是由 14 个点的多边形标注,可以描述任意曲线文本的形状。
-
Total-Text
Total-Text 是一个新发布的曲线文本检测数据集,包含水平、多方向及曲线文本实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。
-
ICDAR 2015
ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文本区域由四个顶点的四边形标注。
-
ICDAR 2017 MLT
IC17-MLT 是一个大规模的多语言文本数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。
训练策略
使用基于 ImageNet 预训练的 ResNet 作为主干网络,并通过随机梯度下降法(SGD)进行优化。
IC17-MLT 这个数据集的训练方式跟别人不一样:
在训练 IC17-MLT 时,未使用任何额外数据(如 SynthText)。模型训练时的 batch size 为 16,使用 4 张 GPU 进行 180K 次迭代。初始学习率设为 ,并在 60K 和 120K 次迭代时将学习率降低至原来的十分之一。
除了 IC17-MLT 之外,其他数据集采用两种策略:直接在目标数据集训练,或从 IC17-MLT 训练好的模型微调。
直接训练时,Batch size 同样设为 16,使用 4 张 GPU 进行 36K 次迭代。初始学习率设为 ,并在 12K 和 24K 次迭代时降低至十分之一。
从 IC17-MLT 模型微调至目标数据集时,训练迭代次数为 24K,初始学习率设为 ,并在 12K 次迭代时将学习率降低至十分之一。
-
优化与参数设置
- 使用权重衰减值 ,Nesterov 动量设为 0.99,且不使用阻尼。
- 训练过程中,对所有数据集中 「DO NOT CARE」 的模糊文本区域忽略不计。
- 损失函数平衡参数 设为 0.7,OHEM 的负正样本比例设为 3。
-
数据增强策略
- 图片以随机比例 [0.5, 1.0, 2.0, 3.0] 进行缩放。
- 图片进行随机水平翻转和旋转,范围在正负 10 度之间。
- 从变换后的图片中随机裁剪出 的样本。
-
结果生成
- 对于四边形文本数据集,计算最小面积矩形以提取边界框。
- 对于曲线文本数据集,应用 PSE 的输出来生成最终结果。
讨论
各组件设计的影响
-
核心区块 (Kernel) 能作为最终结果吗?
答案是不能。
核心区块的目的是大致定位文本实例,并区分彼此相邻的文本实例。然而,最小尺度的核心区块无法覆盖完整的文本区域,这对文本检测和识别造成了不利影响。如上图 (a) 所示,仅使用最小尺度核心区块作为最终结果,F-measure 在 ICDAR 2015 和 CTW1500 数据集上的表现极差。
-
最小核心尺度的影响
作者通过设置核心数量 ,并让最小核心尺度 从 1 变动到 0.1,来研究其对性能的影响。
从上图 (a)可以看出,当 太大或太小时,测试集上的 F-measure 会下降。当 时,我们仅使用文本分割图作为最终结果,且不使用渐进尺度扩展算法(PSE),结果显示没有 PSE 的基线表现不理想,因为网络无法区分彼此相邻的文本实例。
当 过大时,PSENet 难以分离靠近的文本实例;而当 过小时,PSENet 常常错误地将整个文本行分割为不同部分,且训练难以收敛。
-
核心数量的影响
作者通过保持最小尺度 不变,并训练不同核心数量 的 PSENet 来研究其影响。作者设置 ICDAR 2015 数据集上的 ,CTW1500 数据集上的 ,并让 从 2 增加到 10。
结果如上图 (b) 所示,随着 的增加,测试集上的 F-measure 逐渐上升,并在 时趋于平稳。多核心的优势在于,它们彼此相邻时可以精确重建两个大小差异较大的文本实例。
曲线文本实验结果
为了测试曲线文本的检测能力,作者们在 CTW1500 和 Total-Text 两个数据集上评估了 PSENet;两者都包含曲线文本。
在测试阶段,将图片的较长边缩放至 1280,并且只使用 ResNet50 作为主干网络。
-
CTW1500
PSENet-1s 在 CTW1500 上未使用额外数据时,F-measure 为 78.0%;使用 IC17-MLT 模型微调后为 82.2%,比 CTD+TLOC 高 8.8 个百分点,比 TextSnake 高 6.6 个百分点。这两个比较对象的额外数据条件不同,需分开看。
-
Total-Text
在 Total-Text 上,使用额外数据的 PSENet-1s 的精度、召回率和 F-measure 分别为 84.02%、77.96% 和 80.87%;F-measure 比 TextSnake 的 78.4% 高 2.47 个百分点,但未使用额外数据的 PSENet-1s 为 78.3%。相较 DeconvNet 基准的 36.0%,前者高出 44.87 个百分点;表中的 EAST 和 SegLink 未在 Total-Text 微调,仅供参考。
作者也展示了几个挑战性的结果,并将其与现有的 CTD+TLOC 方法进行视觉比较,如下图:
ICDAR2015 实验结果
作者在 ICDAR 2015 (IC15) 数据集上评估了 PSENet,以测试其方向文本检测能力。这里仅使用 ResNet50 作为 PSENet 的主干网络。在推理过程中,将输入图片的长边缩放至 2240。
在单尺度且使用额外数据的 PSENet-1s 设置下,F-measure 达到 85.69%,比表中先前最高的 TextSnake 82.6% 高约 3.1 个百分点;未使用额外数据的 PSENet-1s 为 80.6%。
速度分析
作者在 CTW1500 的测试集上进行实验,对所有测试图片进行评估并计算平均速度。输入图片的长边缩放至 [1280, 960, 640] 来测试速度。所有结果均使用 PyTorch 和一张 1080Ti GPU 进行测试。
为了在速度与准确率之间取得平衡,使用了 ResNet50 和 ResNet18 作为主干网络。
- 当输出特征图的大小为输入图片的 1/1 时,PSENet 能够获得最佳性能,但由于特征图较大,PSE 阶段的时间消耗超过了总推理时间的一半。
- 当输出特征图的大小为输入图片的 1/4 时,PSENet 的每秒帧数(FPS)从 3.9 提升到 8.4,但性能从 82.2%略微下降至 79.9%,如表 2 所示。此时 PSE 阶段的时间消耗不到总推理时间的十分之一。
- 当将图片的长边缩放至 640 时,FPS 进一步提升至 22,且检测器的性能仍然保持不错(75.6%)。
当使用 ResNet18 作为主干网络、长边缩放至 960 且不使用额外文本数据训练时,PSENet 的速度为 26.75 FPS,F-measure 为 74.3%。
结论
PSENet 的核心思想是通过逐步扩展来解决不规则形状的场景文本问题。但不管怎么说,最后还是需要一定的后处理来确定文本区域,这在实际应用中会增加一些计算量和复杂性。
而且逐步扩展策略依赖于初期识别的文本核心区域。如果核心区域检测错误,后续的扩展步骤会受到影响,进而影响最终的检测结果。
总之 PSENet 在精度和速度上取得了不错的平衡,适合用于许多实际应用场景。相对于其他基于语义分割或目标检测的方法,PSENet 提供了一个新的思路来处理场景中难以检测的文本,使得文本检测领域向前迈出了一大步。