Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection
- 发表版本
- ICCV 2021会议
- arXiv 首次提交
- arXiv:2107.12664
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectiontextbpn2021,
title = {{Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection}},
author = {Shi-Xue Zhang and Xiaobin Zhu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
year = {2021},
eprint = {2107.12664},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2107.12664}
}
这篇论文引入了几个概念,来解决文字检测的问题。
第一个是 LSTM,用来捕捉文字边界的序列数据;另外一个是 GCN,也是图卷积网络,用来细化文字边界的特征。这两个概念都展开来讲都可以讲个三天三夜,但是我们想读者们应该都已经很熟悉这些概念了。
所以我们直接开始吧。
定义问题
我们也陆续看过几个文字检测的方法了,大多数的方法为了解决文字区域交叠的问题,解题方向都是先找「文字核心」,然后基于文字核心向外部扩展,找到文字边界。
这些方法大多都很慢,就论文中的原话,叫做:「复杂且低效」!
为了改善这些问题,作者提出了一种用于任意形状文字检测的新型自适应边界提议网络,它可以学习直接为任意形状文字生成准确的边界,而无需复杂的后处理。
解决问题
模型架构
这个架构乍看之下有点复杂,我们分几个部分来看。
Backbone + Neck
基础特征图的提取是基本的操作,这里的 Backbone 使用的是 ResNet-50,Neck 的部分使用 Concat 的方式进行特征融合,算是 U-Net-like 的架构。
最后 Neck 的输出是 个信道,尺寸和输入图一致的特征图。
边界提议生成
边界提议生成(Boundary Proposal Generation),由多层膨胀卷积构成,包含两层 的卷积层(不同的膨胀率)和一层 的卷积层。
这些卷积层使用从主干网络提取的共享特征来生成三种输出:分类图、距离场图和方向场图。
-
分类图: 这和其他文字检测方法一样,是一个二元分类的图,每个像素表示是否属于文字的分类置信度(二元分类:文字/非文字)。
-
方向场图:
方向场图 为一个二维单位向量 ,表示每个文字像素指向其最近边界像素的方向。对于每个文字实例 内的像素 ,会找到其最近的边界像素 ,并计算从 到 的单位向量 。原论文式 (1) 的向量箭头与正文及图 5(a) 的方向相反;依后两者,公式应写为:
其中 代表 与最近边界像素 之间的距离。
-
距离场图:
距离场图 是一个归一化的距离图,用来表示文字像素 到最近边界像素 的归一化距离。其公式为:
其中 代表文字实例 内像素至边界的最大未归一化距离,定义为:
原论文式 (3) 将 写成已归一化的 最大值,会造成循环定义;此处依归一化所需的未归一化距离表达。
根据距离场图 ,可以通过固定的阈值 来生成候选边界提议,但这些提议可能包含误检。因此,会根据分类图计算每个候选边界提议的平均置信度,并使用阈值 去除一些置信度低的提议。
这些步骤和公式共同构成了边界提议生成过程,能有效检测文字区域并处理相邻文字实例间的边界问题。
自适应边界变形
自适应边界变形(Adaptive Boundary Deformation)模型的想法来自于过去的研究论文:
- [18.03] Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++
- [19.03] Fast Interactive Object Annotation with Curve-GCN
- [20.01] Deep Snake for Real-Time Instance Segmentation
这些论文的详细介绍我们之后再写其他文章来讲,这边我们直接使用已知的结论:
通过这些方法,模型可以得到每个文字实例的边界控制点,基于 CNN 特征输入,并进行逐顶点的偏移预测。每个边界提议会从中均匀采样 N 个控制点,这些控制点形成一个封闭的多边形,兼顾拓扑上下文与序列上下文。
对于每个控制点 ,会生成特征向量 。
这些特征是从 CNN 主干网络获得的 32 维共享特征 和 4 维先验特征 (如像素分类、距离场、方向场)组合而成。
具体公式为:
得到控制点与对应特征后,接着要细化边界提议。
这里引入 GCN 和 RNN 来进行边界变形,如下图所示:
编码器结合了 GCN 和 RNN,用于充分利用边界的拓扑与序列上下文,其公式为:
其中,RNN 由一层隐藏大小为 128 的 BiLSTM 组成。
GCN 包含四层激活函数为 ReLU 的图卷积层,图卷积层的公式如下:
其中,,,为局部图的邻接矩阵,为单位矩阵,为对角矩阵。
GCN 中的每个控制点与其四个邻居相连,通过此种方式处理控制点间的上下文关系。
除了上面两个分支之外,还有一个 卷积分支保留输入特征,共三个分支进行特征融合。
所有特征以拼接(Concat)后,输入到解码器中,解码器的输出为控制点的偏移量。
为了获得更精确的文字边界,会执行多次迭代的边界变形。这些步骤使得模型能够通过多次迭代变形,逐步细化初始的边界提议,最终达到精确的文字检测效果。
训练数据集
-
SynthText
该数据集用于对模型进行预训练。这是一个大规模数据集,包含约 80 万张合成图像。这些图像由自然场景与随机字体、大小、颜色和方向的文字混合而成,具有很高的现实感。
-
CTW1500
CTW1500 是一个针对长曲线文字检测的挑战性数据集,由 Yuliang 等人构建。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文字数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文字实例是由 14 个点的多边形标注,可以描述任意曲线文字的形状。
-
Total-Text
Total-Text 是一个新发布的曲线文字检测数据集,包含水平、多方向及曲线文字实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。
-
MSRA-TD500
这是一个多语言、任意方向和长文字行的数据集。包含 300 张训练图像和 200 张测试图像,文字行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。
-
ICDAR 2017 MLT
IC17-MLT 是一个大规模的多语言文字数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。
讨论
消融实验
为验证自适应变形模型的有效性,作者在 Total-Text 与 CTW-1500 数据集做了几个消融实验。这组消融只用各自的真实数据集训练 660 个 epoch,没有使用 SynthText 预训练;与下方基准表的预训练列须分开看。
-
自适应变形模型的有效性:
使用四种不同的编码器进行比较:全连接网络(FC)与 Conv1x1、RNN、循环卷积(Circular Convolution)、图卷积网络(GCN)。
根据上表,自适应变形模型在两个数据集上都取得最高 F-measure:在 Total-Text 比 RNN 高 0.94 个百分点,在 CTW-1500 比 GCN 高 0.85 个百分点。它在两个数据集的速度分别为 10.56 与 12.08 FPS,与表列 RNN、GCN 接近。
-
控制点数量(N)的影响:
作者研究了不同控制点数量对检测性能的影响,控制点数量设置为 12 到 32,间隔为 4。
从上图可以看出,当控制点数过大或过小时,F-measure 会下降。特别是控制点数过少时,检测边界无法正确覆盖整个文字区域,导致性能大幅下降。当控制点数量约为 20 时,模型在 Total-Text 与 CTW-1500 数据集上取得最佳检测性能。因此,实验中控制点数量固定为 20。
-
迭代次数的影响:
作者比较了不同推理迭代次数的模型性能。根据上表,在 CTW-1500 上从 1 次到 3 次迭代,F-measure 由 82.24% 升至 83.97%,速度由 13.68 降至 12.08 FPS;第 2 次到第 3 次仍提升 0.64 个百分点。综合速度与性能的平衡,实验中迭代次数设置为 3 次。
-
先验信息的影响:
作者在 Total-Text 数据集上进行消融实验,验证不同先验信息(如分类图、距离场和方向场)的重要性。根据上表,仅使用分类图时,F-measure 为 79.87%;在此基础上加入距离场后提高 5.45 个百分点,再加入方向场后提高 1.55 个百分点。
曲线文字实验结果
Total-Text 实验结果
CTW-1500 实验结果
测试时,图像的短边缩放至 640,长边限制在 1024 像素内。用于获取候选边界提议的距离场阈值 固定为 0.3。
在 Total-Text 上测试时的分类阈值 设置为 0.825。
根据上表,使用 SynthText 预训练时,TextBPN 在 F-measure 上达到了 87.37%;使用 MLT17 预训练时,F-measure 提高至 87.85%。后者比表列先前最高的 Boundary(87.0%)高 0.85 个百分点;不同方法的额外训练数据与 FPS 条件须分开看。
在 CTW-1500 上测试时,分类阈值 设置为 0.8。
使用 MLT17 预训练的 TextBPN,精确率为 86.45%,F-measure 为 85.0%;87.81% 的精确率则属于 SynthText 预训练列,其 F-measure 为 84.51%。与表列 TextSnake(75.6%)和 DB(83.4%)相比,MLT17 版本的 F-measure 分别高 9.4 与 1.6 个百分点。
MSRA-TD500 实验结果
在 MSRA-TD500 上测试时,分类阈值 设置为 0.925。
使用 MLT17 预训练的 TextBPN 在 F-measure 上达到了 85.57%,高于表列 DB 的 84.9% 与 DRRG 的 85.08%;SynthText 预训练版本则为 82.97%。这些结果支持模型可检测任意方向与大小的长文字行,但比较时须保留各列的预训练条件。
可视化结果
图中蓝线是初始边界提议,绿线是迭代变形后的最终边界;(a)、(b) 为 Total-Text,(c)、(d) 为 CTW-1500 的示例。
结论
引入 GCN 和 RNN 在文字检测的领域中确实是个很新颖的策略。
实验结果证明,该方法在 Total-Text、CTW-1500 等具有挑战性的数据集上取得了显著的性能提升,特别是在处理不规则和曲线文字方面,展现了优异的表现。
未来的研究若能在保持检测精度的同时,进一步提升其推理速度与应用灵活性,将使该方法在更广泛的场景中展现出更大的实用性。