Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network
- 发表版本
- ICCV 2019会议
- arXiv 首次提交
- arXiv:1908.05900
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectionpan2019,
title = {{Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network}},
author = {Wenhai Wang and Enze Xie and Xiaoge Song and Yuhang Zang and Wenjia Wang and Tong Lu and Gang Yu and Chunhua Shen},
year = {2019},
eprint = {1908.05900},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.05900}
}
作者不久前才发表 PSENet,打铁趁热,这没过多久再度发表 PAN。
定义问题
这次的目标很简单,就是觉得先前的模型架构太慢了。
ResNet50 和 VGG16 都要换掉,改成 ResNet18!
FPN 也要改,改成深度可分离卷积!
总之,怎样轻量怎样来。
解决问题
模型架构
上图是 PAN 的模型架构,整体上看起来和 PSENet 很像,为了提升速度,作者提出了几个改进策略。
首先是缩减特征金字塔网络(FPN)的参数量,但缩减后会降低特征的表达能力,于是紧接着补上新的融合策略。
在论文中也会出现大量的缩写,常会让人摸不着头绪,所以我们先记忆一下这些缩写:
- FPEM: Feature Pyramid Enhancement Module 特征金字塔增强模块
- FFM: Feature Fusion Module 特征融合模块
以下依序来看看。
FPEM
这个架构与 FPN 一样融合不同尺度的特征,但还有由高分辨率往低分辨率的第二段路径;融合处使用深度可分离卷积,这样可以减少计算量,提升速度。
在论文中,作者特别强调这是一个可以堆叠多层的模块,通过堆叠可以提升特征的表达能力,弥补轻量主干网络的不足。
FFM
堆叠多层 FPEM 之后,会得到一大堆特征图。
举例来说,在论文中一层 FPEM 会得到 4 个尺度特征图,每个尺度输出的通道数为 128,四个尺度的特征图总共有 512 个通道。如果继续堆叠 N 层,那么最后会得到 512N 个通道,这样的特征图对于后续的处理来说非常吃力。
作者在这里的做法是将各层 FPEM 中对应尺度的特征图相加,再上采样并拼接四个尺度,如上图所示,意思就是不管堆几层,最后都只会有 个通道。
像素聚合策略
完成 Backbone 和 Neck 的部分之后,预测头会输出文本区域、内核区域,以及每个文本像素的四维相似度向量。
像素聚合的目的是将文本区域中的像素正确地合并到对应的内核上,从而重建完整的文本实例。这个方法借用了聚类的概念,将文本实例视为聚类,内核为聚类中心,而文本区域的像素则是待聚类的样本。
在训练过程中,像素聚合通过计算聚合损失 (Aggregation Loss) 来引导文本像素向内核靠拢,同时通过判别损失 (Discrimination Loss) 来保持不同内核之间的区别。
-
(1) 聚合损失
- 聚合损失 的目的在于使同一文本实例的像素与其内核的距离尽可能小。
- 对于每个文本实例 ,损失函数的定义如下:
其中 是文本实例的总数, 是第 个文本实例, 是其内核, 是文本实例中的像素。
- 距离函数 的定义如下:
其中 是像素 的相似度向量, 是内核 的相似度向量,定义为:
是一个常数,经实验设置为 0.5,目的是过滤掉较易分类的样本。
-
(2) 判别损失
- 判别损失 旨在保持不同文本实例的内核之间具有足够的距离。
- 判别损失的定义如下:
其中 为两个内核 与 之间的距离,定义为:
是一个常数,经实验设置为 3,以保证不同内核间的距离不小于 。
在推论阶段,基于预测的相似度向量来引导文本区域中的像素合并到对应的内核。
具体步骤如下:
- 找出内核的连通分量:在内核分割结果中,找出连通分量,每个连通分量代表一个内核。
- 合并邻近的文本像素:对于每个内核 ,将其邻近的文本像素 (4 连通方式)进行条件合并,当像素 与内核 的相似度向量欧氏距离小于阈值 时,进行合并。
- 重复合并步骤:重复第 2 步,直到没有符合条件的邻近文本像素可以合并为止。
该方法通过聚合与判别损失来引导内核与文本像素之间的正确聚合,最终重建完整的文本实例。
损失函数
损失函数的总体形式为:
其中:
- 表示文本区域的损失。
- 表示内核区域的损失。
- 和 分别为聚合损失与判别损失。
- 参数 和 用于平衡这些损失的重要性,在所有实验中设置为 和 。
由于文本像素和非文本像素数量极不平衡,参考过去文献采用 Dice Loss 来监督文本区域 和内核区域 的分割结果。
内核区域的真实标签 是通过对原始的真实标签多边形进行缩小得到,这个缩小过程比照 PSENet 的方法,按比例 对多边形进行缩小。
在计算 时,采用在线困难样本挖掘 (Online Hard Example Mining, OHEM) 方法来忽略简单的非文本像素。在计算 、 和 时,仅考虑真实标签中的文本像素。
控制内核区域损失的权重, 控制聚合与判别损失的权重;文本区域损失的权重为 1。
训练数据集
-
SynthText
该数据集用于对模型进行预训练。这是一个大规模数据集,包含约 80 万张合成图像。这些图像由自然场景与随机字体、大小、颜色和方向的文本混合而成,具有很高的现实感。
-
CTW1500
CTW1500 是一个针对长曲线文本检测的挑战性数据集,由 Yuliang 等人建构。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文本数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文本实例是由 14 个点的多边形标注,可以描述任意曲线文本的形状。
-
Total-Text
Total-Text 是一个新发布的曲线文本检测数据集,包含水平、多方向及曲线文本实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。
-
ICDAR 2015
ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文本区域由四个顶点的四边形标注。
-
MSRA-TD500
这是一个多语言、任意方向和长文本行的数据集。包含 300 张训练图像和 200 张测试图像,文本行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。
训练策略
PAN 使用 ResNet 或 VGG16 作为模型的骨干,这些模型预先在 ImageNet 上进行了预训练。
所有网络模型都使用随机梯度下降法 (Stochastic Gradient Descent, SGD) 进行优化。使用外部数据的模型先在 SynthText 上预训练 50K 次迭代,固定学习率为 ;未使用外部数据的模型则直接在目标数据集上训练。
在目标数据集上,两种策略都训练 36K 次,初始学习率为 ;直接训练时使用指数为 0.9 的 poly 学习率衰减。权重衰减设置为 ,并使用 Nesterov 动量,动量值为 0.99。
在训练过程中,忽略了在所有数据集中标记为 "DO NOT CARE" 的模糊文本区域。OHEM 的正负样本比例设置为 3。训练图片应用了多种数据增强方法,包括随机缩放、随机水平翻转、随机旋转和随机裁剪。
讨论
消融实验
作者在 ICDAR 2015 和 CTW1500 数据集上进行了消融实验,分析了 PAN 的各个模块对性能的影响。
-
堆叠 FPEM 效果
FPEM 数量对模型效果的影响通过调整 的值进行研究。从上表可以看出,随着 的增长,测试集上的 F-measure 持续上升,直到 开始趋于平稳。
然而,尽管 FPEM 计算成本低,过多的 FPEM 会降低模型的推理速度。每增加一个,FPS 约会减少 2 到 5。为了在性能和速度之间取得平衡,在后续实验中将 设置为 2。
-
FPEM 的有效性
在相同的实验设置下,作者比较:
- ResNet18 + 2 FPEMs + FFM
- ResNet50 + PSPNet
上表显示,即使「ResNet18 + 2 FPEMs + FFM」是轻量化的骨干网络,其性能几乎与「ResNet50 + PSPNet」相当,且推理速度快 5 倍以上,模型大小仅 12.25M。
-
FFM / PA 的有效性
移除 FFM,并在最后的特征金字塔 中拼接特征图进行最终分割。结果显示,移除 FFM 后,F-measure 下降了 0.6 至 0.8 个百分点(见上表 #1 和 #2),这表明除了深层特征,浅层特征对语义分割也很重要。
移除 PA(训练时令 ,推论时不依相似度筛选邻近像素)后,F-measure 在 ICDAR 2015 和 CTW1500 分别下降了 1.0 和 1.2 个百分点(见上表 #4),这表明 PA 在提升模型性能上具有显著效果。
将轻量化骨干网络 ResNet18 替换为较重的骨干网络 ResNet50 和 VGG16。结果显示,在相同的设置下,两者在 ICDAR 2015 上分别提升了 1.1 和 1.6 个百分点,在 CTW1500 上分别提升了 0.6 和 0.5 个百分点(见上表 #5 和 #6)。然而,较重的骨干网络明显降低了推理速度。
曲线文本实验结果
-
在 CTW1500 上:
CTW1500 实验结果
-
PAN-320(输入图片短边为 320),未经外部数据预训练的情况下,F-measure 达到 77.1%,速度为 84.2 FPS。该 F-measure 超越了大多数对比方法(包括使用外部数据预训练的方法),速度比最快的方法快 4 倍。
-
从 SynthText 预训练模型在 CTW1500 上微调后,PAN-320 的 F-measure 提升至 79.9%,PAN-512 的 F-measure 达到 83.5%,超过表中其他方法至少 1.3 个百分点,同时仍保持接近实时的速度(58.1 FPS)。
-
在 Total-Text 上:
Total-Text 实验结果
- 未经外部数据预训练的情况下,PAN-320 的速度达到实时(82.4 FPS),F-measure 为 77.1%,而 PAN-640 的 F-measure 达到 83.5%,超越表中其他方法(包括使用外部数据的方法)至少 0.6 个百分点。
- 从 SynthText 预训练模型在 Total-Text 上微调后,PAN-320 的 F-measure 提升至 79.9%,PAN-640 的最佳 F-measure 为 85.0%,比表中第二名的 SPCNet [50] 高出 2.1 个百分点,速度仍能保持接近 40 FPS。
ICDAR 2015 实验结果
PAN 在未经外部数据预训练的情况下,表中的 F-measure 为 80.3%,速度为 26.1 FPS。与 EAST 相比,PAN 的 F-measure 提高了 2.1 个百分点,而速度约是 EAST 的 2 倍。
从 SynthText 预训练模型在 ICDAR 2015 上微调后,F-measure 提升至 82.9%,与 TextSnake 的 82.6% 相当;PAN 的 26.1 FPS 约是 TextSnake 1.1 FPS 的 24 倍。虽然 PAN 的 F-measure 不如 PSENet 和 SPCNet,但表中 PSENet 的速度为 1.6 FPS,PAN 约为其 16 倍;SPCNet 未提供速度数据。
MSRA-TD500 实验结果
当不使用外部数据时,PAN 的 F-measure 为 78.9%,使用外部数据后提升至 84.1%,是表中最高的 F-measure。PAN 的速度为 30.2 FPS;部分对比方法未提供速度数据。
可视化结果
上图 (b) 和 (c) 分别是预测的文本区域与内核;(d) 以降维后的颜色与散点显示相似度向量,同一内核附近的像素较为集中。
结论
PAN 在曲线文本、定向文本以及长直文本检测方面均表现出色,无论是否使用外部数据预训练,都能取得较高的 F-measure,并保持相对快速的运行速度。这使得 PAN 成为一个可以应用于各种场景的稳健文本检测方法。