返回论文笔记资料库
arXiv 2021文本检测论文笔记

FAST

放箭若流星赶月

原始论文

FAST: Faster Arbitrarily-Shaped Text Detector with Minimalist Kernel Representation

论文作者

Zhe Chen · Jiahao Wang · Wenhai Wang …

查看全部 7 位作者

Zhe Chen · Jiahao Wang · Wenhai Wang · Guo Chen · Enze Xie · Ping Luo · Tong Lu

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2111.02394
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectionfast2021,
  title = {{FAST: Faster Arbitrarily-Shaped Text Detector with Minimalist Kernel Representation}},
  author = {Zhe Chen and Jiahao Wang and Wenhai Wang and Guo Chen and Enze Xie and Ping Luo and Tong Lu},
  year = {2021},
  eprint = {2111.02394},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2111.02394}
}
本页内容

每个作者都要嘲讽一次前作的低效设计,但又屡屡提出的架构只改善了一点点。

这次似乎不太一样,这篇论文新设计了基础架构,优化后处理方式,整体性能上有了巨大的提升。推理速度与预测精度的权衡良好,在往后几年间都是一个很好的基准。

定义问题

作者认为现有的文字检测方式的「后处理」流程大有问题。

如上图所示,目前有名的检测方法,其「后处理」占整体时间的 30% 左右。而且这些方法的后处理都基于 CPU 上运作,很难与 GPU 的资源并行,导致明显的性能瓶颈。

这个肯定要改!


另一方面,目前流行的检测方法中, Backbone 的设计大多基于现有的图像分类网络,再搭配 FPN 或 U-Net 进行特征融合。

由于文字的形状多样,而且通常很长一条,这样的设计可能不适合。

所以 Backbone 也要一起改!

解决问题

模型架构

首先,作者舍弃大多数主流的 Backbone + Neck 的架构。

重新搭建了一个 Backbone 架构,取名为 TextNet,这个架构的来源我们等一下再说。

虽然舍弃了 Neck,但还是得进行特征融合。这里作者先以卷积将 Backbone 输出的多尺度特征图各缩减至 128 个通道,再上采样并拼接(concatenate)。

极简文字表示法

预测头的部分,输入特征图就是刚才提到的多尺度特征图,输出是一个文字核心图,仅由一个通道组成。

极简文字表示法,Minimalist Kernel Representation(MKR),是作者提出的一种文字核心表示法。

过去的研究是通过收缩公式来得到文字核心,而这里作者使用「侵蚀」操作来得到文字核心。得到文字核心图之后,接着是「连通区域标记」,这个概念来自于以下这篇论文:

这是直接实作 cuda 代码,让 GPU 进行「连通区域标记」的运算。

相关实作在 FAST 的 GitHub 上可以找到: ccl_cuda.cu

算法的实作逻辑如下:

在推理阶段,先将文字核心图二值化并进行连通区域标记,接着使用 max_pool2d 来完成文字膨胀的功能。

也因为是使用 max_pool2d,所以在文字膨胀的过程中,重叠的部分会优先分配给连通区域编号较大的部分。

标注生成策略

为了要监督模型,我们需要生成标注。

这里作者先填满文字标注,得到文字区域标签,再使用 Erode 操作生成文字核心标签;为避免文字实例被侵蚀到消失,每个文字区域至少保留一个最小核心。推理时则用 Dilate 操作将核心扩张成文字区域。

TextNet

最后是 Backbone 的设计方式。

作者依据 ProxylessNAS 的设计,构建了一个专为文字检测的架构搜索主干网络。

每一个网络阶段包含一个步长为 2 的卷积层与多个可搜索区块,如上图所示。

步长为 2 的 3x3 卷积层用于下采样特征图,而每个可搜索区块由一组候选操作构成,经过架构搜索后选择最合适的操作作为最终的操作。

为追求极限速度,作者使用可重参数化卷积作为候选操作,并在推理过程中将其合并为单一分支的卷积操作。其中,作者设计了一个层级候选操作集,定义为:

  • conv 3x3\text{conv 3x3}
  • conv 1x3\text{conv 1x3}
  • conv 3x1\text{conv 3x1}
  • identity\text{identity}

由于 1×31 \times 3 和 3×13 \times 1 卷积具有非对称核和方向性结构先验,这些操作有助于捕捉极端长宽比及旋转的文字线特征。此外,identity 操作表示跳过该层,用以控制网络深度与推理速度。

损失函数

FAST 模型的损失函数可以表述为:

L=Lker+αLtexL = L_{ker} + \alpha L_{tex}

其中 LkerL_{ker} 和 LtexL_{tex} 分别代表文字核心区域和文字区域的损失。

依据常见的做法,作者使用 Dice 损失来监督网络训练,因此,LkerL_{ker} 和 LtexL_{tex} 可以分别表示为:

Lker=1−2∑x,yPker(x,y)Gker(x,y)∑x,yPker(x,y)2+∑x,yGker(x,y)2L_{ker} = 1 - \frac{2 \sum_{x,y} P_{ker}(x, y) G_{ker}(x, y)}{\sum_{x,y} P_{ker}(x, y)^2 + \sum_{x,y} G_{ker}(x, y)^2} Ltex=1−2∑x,yPtex(x,y)Gtex(x,y)∑x,yPtex(x,y)2+∑x,yGtex(x,y)2L_{tex} = 1 - \frac{2 \sum_{x,y} P_{tex}(x, y) G_{tex}(x, y)}{\sum_{x,y} P_{tex}(x, y)^2 + \sum_{x,y} G_{tex}(x, y)^2}

其中,P(x,y)P(x, y) 和 G(x,y)G(x, y) 分别代表预测值和真实值在位置 (x,y)(x, y)的值;PtexP_{tex} 是训练时由文字核心预测经可微分的膨胀操作得到,并非另一个输出通道。

此外,作者在 LtexL_{tex} 中应用了在线困难样本挖掘(OHEM),用于忽略简单的非文字区域。

α\alpha 用于平衡 LkerL_{ker} 和 LtexL_{tex} 的重要性,并且在实验中设置为 0.5。

训练数据集

  • CTW1500

    CTW1500 是一个针对长曲线文字检测的挑战性数据集,由 Yuliang 等人构建。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文字数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文字实例是由 14 个点的多边形标注,可以描述任意曲线文字的形状。

  • Total-Text

    Total-Text 是一个新发布的曲线文字检测数据集,包含水平、多方向及曲线文字实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。

  • MSRA-TD500

    这是一个多语言、任意方向和长文字行的数据集。包含 300 张训练图像和 200 张测试图像,文字行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。

  • ICDAR 2015

    ICDAR 2015 是文字检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文字区域由四个顶点的四边形标注。

  • ICDAR 2017 MLT

    IC17-MLT 是一个大规模的多语言文字数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。

讨论

NAS 搜索架构

如上图,作者绘制了 TextNet-T/S/B 的搜索架构,观察到以下几个现象:

  • 非对称卷积是 TextNet 的主要操作,有助于以较高的准确性与效率检测文字行。
  • TextNet-T 与 TextNet-S在较深层的阶段(stage-3 和 stage-4)堆叠更多卷积层,而TextNet-B则倾向于在较浅层阶段(stage-1 和 stage-2)进行堆叠。

这说明了 TextNet 在三种特定的速度限制(即 100、80 和 60 FPS)下的堆叠规则不同,并显示手工设计网络的常见策略(即在 stage-3 堆叠大多数层)可能对于实时文字检测来说并非最优。

消融实验

  • 提议组件比较

    如上表所示,作者要比较提议组件的效果,像是在 PAN 架构中使用的是 Pixel Aggregation,而本论文中作者提出的 Text Dilation。

    为了公平比较,所有模型都在 IC17-MLT 上进行预训练,并在 Total-Text 或 ICDAR 2015 上进行微调。

    与使用 ResNet18 和基于 CPU 的后处理 Pixel Aggregation 的基线相比,FAST-R18将后处理替换为 GPU 平行化的文字扩张操作,实现了更高的效率且检测性能相当。

    此外,将 ResNet18 主干网络替换为TextNet-B,进一步提升了性能和效率,同时减少了参数数量。

  • 收缩核心

    在此实验中,作者基于FAST-R18模型研究了扩张尺寸 ss(等于侵蚀尺寸)的效果。

    这里将 Total-Text 与 ICDAR 2015 数据集中的图像短边缩放至 640 与 736 像素。

    根据上表,当扩张尺寸过小时,两个数据集上的 F 值均下降。经验上,作者将扩张尺寸ss缺省为 9。

    若短边尺寸 SS 改变,扩张尺寸 ss 应按比例更新以获得最佳性能:

    snew=Round(Snew×sdefaultSdefault)s_{\text{new}} = \text{Round}\left(\frac{S_{\text{new}} \times s_{\text{default}}}{S_{\text{default}}}\right)

    其中,Round(⋅)\text{Round}(·) 为取整函数。例如,依照上述公式计算,当短边固定为 800 像素而非 640 像素时,扩张尺寸 ss 应该要设为 11。

曲线文字实验结果

Total-Text 实验结果


在 Total-Text 数据集上,FAST-T-448以 152.8 FPS 的速度达到了 81.6%的 F 值,速度快于表中所有先前的方法。FAST-S-512在 F 值上超越了实时文字检测器 DB++-R18,高出 1.6 个百分点(84.9% vs. 83.3%),且速度快了 2.4 倍。

与 PAN++ 相比,FAST-B-640速度快 29.2 FPS,F 值提高了 1.1 个百分点(86.4% vs. 85.3%)。

当输入分辨率增大时,FAST-B-800达到 87.5%的最佳 F 值,超越了所有实时检测方法至少 1.5 个百分点,同时仍保持快速推理速度(46.0 FPS)。


CTW1500 实验结果


FAST-T-512的推理速度为 129.1 FPS,比之前的方法快至少 2.3 倍,且 F 值仍具有竞争力(81.5%)。

FAST 最佳 F 值为 84.2%,略高于 DB++-R18 的 83.9%,且我们的方法速度更快(66.5 FPS vs. 40.0 FPS)。

ICDAR2015 实验结果

ICDAR2015 实验结果


从上表可以看出,最快的模型FAST-T-736达到 60.9 FPS,并维持了 81.7%的竞争性 F 值。

与 PAN++ 相比,FAST-B-896的 F 值提高了 3.2 个百分点(86.3% vs. 83.1%),且效率更高(31.8 FPS vs. 28.2 FPS)。

由于 ICDAR 2015 包含许多小文字行,先前的方法通常使用高分辨率图像来确保检测性能。

在此设置下,FAST-B-1280达到 87.1%的 F 值,与 DB-R50 和 DB++-R50 相当(87.1% vs. 87.3%)。此外,与 PSENet 相比,该模型在 F 值上提高了 1.4 个百分点(87.1% vs. 85.7%),且速度快了 9.8 倍。

MSRA-TD500 实验结果

MSRA-TD500 实验结果


根据上表,在 MSRA-TD500 数据集上,FAST-T-512以 137.2 FPS 的速度达到了 84.5%的 F 值,效率优于表中所有先前的实时检测器。

FAST 的速度是 PAN 的 4.5 倍、DB-R18 的 2.2 倍,且保持较高的检测 F 值。此外,FAST-S-736以 72.0 FPS 达到 86.4%的 F 值,超越了 DB++-R18,高出 1.3 个百分点(86.4% vs. 85.1%),且速度快了 17 FPS(72.0 FPS vs. 55.0 FPS)。

FAST-B-736的 F 值为 87.3%,略高于 DB++-R50,但效率显著更高(56.8 FPS vs. 29.0 FPS)。

综合比较

最后,作者基于 Total-Text 数据集,将 FAST 与其他先进的文字检测方法进行了综合比较。

这里的内容跟前面讨论的差不多,就留给读者自行阅读。

可视化结果

结论

FAST 的核心贡献包含两个关键设计:极简文字核心表示法(MKR)和基于 GPU 的文字扩张后处理技术。这些设计使得模型可以完全在 GPU 上运行,大幅提高了推理速度,这对于实时应用具有极大价值。

此外,作者设计了一个专为文字检测任务量身打造的搜索空间和奖励函数,并通过自动搜索技术找到了适合该任务的高效主干网络系列(TextNet)。这使得 FAST 能在多个具有挑战性的数据集上表现出色,同时也在推理速度上有显著提升。

这种在性能与速度间的最佳折衷,使得 FAST 在真实世界的应用中具有很高的潜力。