返回论文笔记资料库
arXiv 2019ICCV 2019文本检测论文笔记

PAN

像素聚合策略

原始论文

Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network

论文作者

Wenhai Wang · Enze Xie · Xiaoge Song …

查看全部 8 位作者

Wenhai Wang · Enze Xie · Xiaoge Song · Yuhang Zang · Wenjia Wang · Tong Lu · Gang Yu · Chunhua Shen

发表版本
ICCV 2019会议
arXiv 首次提交
arXiv:1908.05900
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectionpan2019,
  title = {{Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network}},
  author = {Wenhai Wang and Enze Xie and Xiaoge Song and Yuhang Zang and Wenjia Wang and Tong Lu and Gang Yu and Chunhua Shen},
  year = {2019},
  eprint = {1908.05900},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1908.05900}
}
本页内容

作者不久前才发表 PSENet,打铁趁热,这没过多久再度发表 PAN。

定义问题

这次的目标很简单,就是觉得先前的模型架构太慢了。

ResNet50 和 VGG16 都要换掉,改成 ResNet18!

FPN 也要改,改成深度可分离卷积!

总之,怎样轻量怎样来。

解决问题

模型架构

上图是 PAN 的模型架构,整体上看起来和 PSENet 很像,为了提升速度,作者提出了几个改进策略。

首先是缩减特征金字塔网络(FPN)的参数量,但缩减后会降低特征的表达能力,于是紧接着补上新的融合策略。

在论文中也会出现大量的缩写,常会让人摸不着头绪,所以我们先记忆一下这些缩写:

  • FPEM: Feature Pyramid Enhancement Module 特征金字塔增强模块
  • FFM: Feature Fusion Module 特征融合模块

以下依序来看看。

FPEM

这个架构与 FPN 一样融合不同尺度的特征,但还有由高分辨率往低分辨率的第二段路径;融合处使用深度可分离卷积,这样可以减少计算量,提升速度。

在论文中,作者特别强调这是一个可以堆叠多层的模块,通过堆叠可以提升特征的表达能力,弥补轻量主干网络的不足。

FFM

堆叠多层 FPEM 之后,会得到一大堆特征图。

举例来说,在论文中一层 FPEM 会得到 4 个尺度特征图,每个尺度输出的通道数为 128,四个尺度的特征图总共有 512 个通道。如果继续堆叠 N 层,那么最后会得到 512N 个通道,这样的特征图对于后续的处理来说非常吃力。

作者在这里的做法是将各层 FPEM 中对应尺度的特征图相加,再上采样并拼接四个尺度,如上图所示,意思就是不管堆几层,最后都只会有 4×1284 \times 128 个通道。

像素聚合策略

完成 Backbone 和 Neck 的部分之后,预测头会输出文本区域、内核区域,以及每个文本像素的四维相似度向量。

像素聚合的目的是将文本区域中的像素正确地合并到对应的内核上,从而重建完整的文本实例。这个方法借用了聚类的概念,将文本实例视为聚类,内核为聚类中心,而文本区域的像素则是待聚类的样本。

在训练过程中,像素聚合通过计算聚合损失 (Aggregation Loss) 来引导文本像素向内核靠拢,同时通过判别损失 (Discrimination Loss) 来保持不同内核之间的区别。

  • (1) 聚合损失 LaggL_{\text{agg}}

    • 聚合损失 LaggL_{\text{agg}} 的目的在于使同一文本实例的像素与其内核的距离尽可能小。
    • 对于每个文本实例 TiT_i,损失函数的定义如下:
    Lagg=1N∑i=1N1∣Ti∣∑p∈Tiln⁡(D(p,Ki)+1),L_{\text{agg}} = \frac{1}{N} \sum_{i=1}^{N} \frac{1}{|T_i|} \sum_{p \in T_i} \ln(D(p, K_i) + 1),

    其中 NN 是文本实例的总数,TiT_i 是第 ii 个文本实例,KiK_i 是其内核,pp 是文本实例中的像素。

    • 距离函数 D(p,Ki)D(p, K_i) 的定义如下:
    D(p,Ki)=max⁡(∥F(p)−G(Ki)∥−δagg,0)2,D(p, K_i) = \max \left( \|F(p) - G(K_i)\| - \delta_{\text{agg}}, 0 \right)^2,

    其中 F(p)F(p) 是像素 pp 的相似度向量,G(Ki)G(K_i) 是内核 KiK_i 的相似度向量,定义为:

    G(Ki)=∑q∈KiF(q)∣Ki∣,G(K_i) = \frac{\sum_{q \in K_i} F(q)}{|K_i|},

    δagg\delta_{\text{agg}} 是一个常数,经实验设置为 0.5,目的是过滤掉较易分类的样本。

  • (2) 判别损失 LdisL_{\text{dis}}

    • 判别损失 LdisL_{\text{dis}} 旨在保持不同文本实例的内核之间具有足够的距离。
    • 判别损失的定义如下:
    Ldis=1N(N−1)∑i=1N∑j=1j≠iNln⁡(D(Ki,Kj)+1),L_{\text{dis}} = \frac{1}{N(N - 1)} \sum_{i=1}^{N} \sum_{\substack{j=1 \\ j \neq i}}^{N} \ln(D(K_i, K_j) + 1),

    其中 D(Ki,Kj)D(K_i, K_j) 为两个内核 KiK_i 与 KjK_j 之间的距离,定义为:

    D(Ki,Kj)=max⁡(δdis−∥G(Ki)−G(Kj)∥,0)2,D(K_i, K_j) = \max \left( \delta_{\text{dis}} - \|G(K_i) - G(K_j)\|, 0 \right)^2,

    δdis\delta_{\text{dis}} 是一个常数,经实验设置为 3,以保证不同内核间的距离不小于 δdis\delta_{\text{dis}}。


在推论阶段,基于预测的相似度向量来引导文本区域中的像素合并到对应的内核。

具体步骤如下:

  1. 找出内核的连通分量:在内核分割结果中,找出连通分量,每个连通分量代表一个内核。
  2. 合并邻近的文本像素:对于每个内核 KiK_i,将其邻近的文本像素 pp(4 连通方式)进行条件合并,当像素 pp 与内核 KiK_i 的相似度向量欧氏距离小于阈值 d=6d=6 时,进行合并。
  3. 重复合并步骤:重复第 2 步,直到没有符合条件的邻近文本像素可以合并为止。

该方法通过聚合与判别损失来引导内核与文本像素之间的正确聚合,最终重建完整的文本实例。

损失函数

损失函数的总体形式为:

L=Ltex+αLker+β(Lagg+Ldis),L = L_{\text{tex}} + \alpha L_{\text{ker}} + \beta (L_{\text{agg}} + L_{\text{dis}}),

其中:

  • LtexL_{\text{tex}} 表示文本区域的损失。
  • LkerL_{\text{ker}} 表示内核区域的损失。
  • LaggL_{\text{agg}} 和 LdisL_{\text{dis}} 分别为聚合损失与判别损失。
  • 参数 α\alpha 和 β\beta 用于平衡这些损失的重要性,在所有实验中设置为 α=0.5\alpha = 0.5 和 β=0.25\beta = 0.25。

由于文本像素和非文本像素数量极不平衡,参考过去文献采用 Dice Loss 来监督文本区域 PtexP_{\text{tex}} 和内核区域 PkerP_{\text{ker}} 的分割结果。

内核区域的真实标签 GkerG_{\text{ker}} 是通过对原始的真实标签多边形进行缩小得到,这个缩小过程比照 PSENet 的方法,按比例 rr 对多边形进行缩小。

在计算 LtexL_{\text{tex}} 时,采用在线困难样本挖掘 (Online Hard Example Mining, OHEM) 方法来忽略简单的非文本像素。在计算 LkerL_{\text{ker}}、LaggL_{\text{agg}} 和 LdisL_{\text{dis}} 时,仅考虑真实标签中的文本像素。

α\alpha 控制内核区域损失的权重,β\beta 控制聚合与判别损失的权重;文本区域损失的权重为 1。

训练数据集

  • SynthText

    该数据集用于对模型进行预训练。这是一个大规模数据集,包含约 80 万张合成图像。这些图像由自然场景与随机字体、大小、颜色和方向的文本混合而成,具有很高的现实感。

  • CTW1500

    CTW1500 是一个针对长曲线文本检测的挑战性数据集,由 Yuliang 等人建构。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文本数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文本实例是由 14 个点的多边形标注,可以描述任意曲线文本的形状。

  • Total-Text

    Total-Text 是一个新发布的曲线文本检测数据集,包含水平、多方向及曲线文本实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。

  • ICDAR 2015

    ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文本区域由四个顶点的四边形标注。

  • MSRA-TD500

    这是一个多语言、任意方向和长文本行的数据集。包含 300 张训练图像和 200 张测试图像,文本行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。

训练策略

PAN 使用 ResNet 或 VGG16 作为模型的骨干,这些模型预先在 ImageNet 上进行了预训练。

所有网络模型都使用随机梯度下降法 (Stochastic Gradient Descent, SGD) 进行优化。使用外部数据的模型先在 SynthText 上预训练 50K 次迭代,固定学习率为 1×10−31 \times 10^{-3};未使用外部数据的模型则直接在目标数据集上训练。

在目标数据集上,两种策略都训练 36K 次,初始学习率为 1×10−31 \times 10^{-3};直接训练时使用指数为 0.9 的 poly 学习率衰减。权重衰减设置为 5×10−45 \times 10^{-4},并使用 Nesterov 动量,动量值为 0.99。

在训练过程中,忽略了在所有数据集中标记为 "DO NOT CARE" 的模糊文本区域。OHEM 的正负样本比例设置为 3。训练图片应用了多种数据增强方法,包括随机缩放、随机水平翻转、随机旋转和随机裁剪。

讨论

消融实验

作者在 ICDAR 2015 和 CTW1500 数据集上进行了消融实验,分析了 PAN 的各个模块对性能的影响。

  • 堆叠 FPEM 效果

    FPEM 数量对模型效果的影响通过调整 ncn_c 的值进行研究。从上表可以看出,随着 ncn_c 的增长,测试集上的 F-measure 持续上升,直到 nc≥2n_c \geq 2 开始趋于平稳。

    然而,尽管 FPEM 计算成本低,过多的 FPEM 会降低模型的推理速度。每增加一个,FPS 约会减少 2 到 5。为了在性能和速度之间取得平衡,在后续实验中将 ncn_c 设置为 2。

  • FPEM 的有效性

    在相同的实验设置下,作者比较:

    • ResNet18 + 2 FPEMs + FFM
    • ResNet50 + PSPNet

    上表显示,即使「ResNet18 + 2 FPEMs + FFM」是轻量化的骨干网络,其性能几乎与「ResNet50 + PSPNet」相当,且推理速度快 5 倍以上,模型大小仅 12.25M。

  • FFM / PA 的有效性

    移除 FFM,并在最后的特征金字塔 FncF_{nc} 中拼接特征图进行最终分割。结果显示,移除 FFM 后,F-measure 下降了 0.6 至 0.8 个百分点(见上表 #1 和 #2),这表明除了深层特征,浅层特征对语义分割也很重要。

    移除 PA(训练时令 β=0\beta=0,推论时不依相似度筛选邻近像素)后,F-measure 在 ICDAR 2015 和 CTW1500 分别下降了 1.0 和 1.2 个百分点(见上表 #4),这表明 PA 在提升模型性能上具有显著效果。

    将轻量化骨干网络 ResNet18 替换为较重的骨干网络 ResNet50 和 VGG16。结果显示,在相同的设置下,两者在 ICDAR 2015 上分别提升了 1.1 和 1.6 个百分点,在 CTW1500 上分别提升了 0.6 和 0.5 个百分点(见上表 #5 和 #6)。然而,较重的骨干网络明显降低了推理速度。

曲线文本实验结果

  • 在 CTW1500 上:

CTW1500 实验结果


  • PAN-320(输入图片短边为 320),未经外部数据预训练的情况下,F-measure 达到 77.1%,速度为 84.2 FPS。该 F-measure 超越了大多数对比方法(包括使用外部数据预训练的方法),速度比最快的方法快 4 倍。

  • 从 SynthText 预训练模型在 CTW1500 上微调后,PAN-320 的 F-measure 提升至 79.9%,PAN-512 的 F-measure 达到 83.5%,超过表中其他方法至少 1.3 个百分点,同时仍保持接近实时的速度(58.1 FPS)。

  • 在 Total-Text 上:

Total-Text 实验结果


  • 未经外部数据预训练的情况下,PAN-320 的速度达到实时(82.4 FPS),F-measure 为 77.1%,而 PAN-640 的 F-measure 达到 83.5%,超越表中其他方法(包括使用外部数据的方法)至少 0.6 个百分点。
  • 从 SynthText 预训练模型在 Total-Text 上微调后,PAN-320 的 F-measure 提升至 79.9%,PAN-640 的最佳 F-measure 为 85.0%,比表中第二名的 SPCNet [50] 高出 2.1 个百分点,速度仍能保持接近 40 FPS。

ICDAR 2015 实验结果

PAN 在未经外部数据预训练的情况下,表中的 F-measure 为 80.3%,速度为 26.1 FPS。与 EAST 相比,PAN 的 F-measure 提高了 2.1 个百分点,而速度约是 EAST 的 2 倍。

从 SynthText 预训练模型在 ICDAR 2015 上微调后,F-measure 提升至 82.9%,与 TextSnake 的 82.6% 相当;PAN 的 26.1 FPS 约是 TextSnake 1.1 FPS 的 24 倍。虽然 PAN 的 F-measure 不如 PSENet 和 SPCNet,但表中 PSENet 的速度为 1.6 FPS,PAN 约为其 16 倍;SPCNet 未提供速度数据。

MSRA-TD500 实验结果

当不使用外部数据时,PAN 的 F-measure 为 78.9%,使用外部数据后提升至 84.1%,是表中最高的 F-measure。PAN 的速度为 30.2 FPS;部分对比方法未提供速度数据。

可视化结果

上图 (b) 和 (c) 分别是预测的文本区域与内核;(d) 以降维后的颜色与散点显示相似度向量,同一内核附近的像素较为集中。

结论

PAN 在曲线文本、定向文本以及长直文本检测方面均表现出色,无论是否使用外部数据预训练,都能取得较高的 F-measure,并保持相对快速的运行速度。这使得 PAN 成为一个可以应用于各种场景的稳健文本检测方法。