返回论文笔记资料库
arXiv 2021ICCV 2021文本检测论文笔记

TextBPN

再访图卷积

原始论文

Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection

论文作者

Shi-Xue Zhang · Xiaobin Zhu · Chun Yang · Hongfa Wang · Xu-Cheng Yin

发表版本
ICCV 2021会议
arXiv 首次提交
arXiv:2107.12664
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectiontextbpn2021,
  title = {{Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection}},
  author = {Shi-Xue Zhang and Xiaobin Zhu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
  year = {2021},
  eprint = {2107.12664},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2107.12664}
}
本页内容

这篇论文引入了几个概念,来解决文字检测的问题。

第一个是 LSTM,用来捕捉文字边界的序列数据;另外一个是 GCN,也是图卷积网络,用来细化文字边界的特征。这两个概念都展开来讲都可以讲个三天三夜,但是我们想读者们应该都已经很熟悉这些概念了。

所以我们直接开始吧。

定义问题

我们也陆续看过几个文字检测的方法了,大多数的方法为了解决文字区域交叠的问题,解题方向都是先找「文字核心」,然后基于文字核心向外部扩展,找到文字边界。

这些方法大多都很慢,就论文中的原话,叫做:「复杂且低效」!

为了改善这些问题,作者提出了一种用于任意形状文字检测的新型自适应边界提议网络,它可以学习直接为任意形状文字生成准确的边界,而无需复杂的后处理。

解决问题

模型架构

这个架构乍看之下有点复杂,我们分几个部分来看。

Backbone + Neck

基础特征图的提取是基本的操作,这里的 Backbone 使用的是 ResNet-50,Neck 的部分使用 Concat 的方式进行特征融合,算是 U-Net-like 的架构。

最后 Neck 的输出是 3232 个信道,尺寸和输入图一致的特征图。

边界提议生成

边界提议生成(Boundary Proposal Generation),由多层膨胀卷积构成,包含两层 3×33 \times 3 的卷积层(不同的膨胀率)和一层 1×11 \times 1 的卷积层。

这些卷积层使用从主干网络提取的共享特征来生成三种输出:分类图、距离场图和方向场图。

  1. 分类图: 这和其他文字检测方法一样,是一个二元分类的图,每个像素表示是否属于文字的分类置信度(二元分类:文字/非文字)。

  2. 方向场图:

    方向场图 VV 为一个二维单位向量 (x⃗,y⃗)(\vec{x}, \vec{y}),表示每个文字像素指向其最近边界像素的方向。对于每个文字实例 TT 内的像素 pp,会找到其最近的边界像素 BpB_p,并计算从 pp 到 BpB_p 的单位向量 Vgt(p)V_{gt}(p)。原论文式 (1) 的向量箭头与正文及图 5(a) 的方向相反;依后两者,公式应写为:

    Vgt(p)={pBp→∥pBp→∥,p∈T(0,0),p∉TV_{gt}(p) = \begin{cases} \frac{\overrightarrow{p B_p}}{\|\overrightarrow{p B_p}\|}, & p \in T \\ (0, 0), & p \notin T \end{cases}

    其中 ∥pBp→∥\|\overrightarrow{p B_p}\| 代表 pp 与最近边界像素 BpB_p 之间的距离。

  3. 距离场图:

    距离场图 DD 是一个归一化的距离图,用来表示文字像素 pp 到最近边界像素 BpB_p 的归一化距离。其公式为:

    Dgt(p)={∥pBp→∥L,p∈T0,p∉TD_{gt}(p) = \begin{cases} \frac{\|\overrightarrow{p B_p}\|}{L}, & p \in T \\ 0, & p \notin T \end{cases}

    其中 LL 代表文字实例 TT 内像素至边界的最大未归一化距离,定义为:

    L=max⁡q∈T∥qBq→∥L = \max_{q \in T}\|\overrightarrow{q B_q}\|

    原论文式 (3) 将 LL 写成已归一化的 DgtD_{gt} 最大值,会造成循环定义;此处依归一化所需的未归一化距离表达。

根据距离场图 DD,可以通过固定的阈值 thdth_d 来生成候选边界提议,但这些提议可能包含误检。因此,会根据分类图计算每个候选边界提议的平均置信度,并使用阈值 thsth_s 去除一些置信度低的提议。

这些步骤和公式共同构成了边界提议生成过程,能有效检测文字区域并处理相邻文字实例间的边界问题。

自适应边界变形

自适应边界变形(Adaptive Boundary Deformation)模型的想法来自于过去的研究论文:

这些论文的详细介绍我们之后再写其他文章来讲,这边我们直接使用已知的结论:

通过这些方法,模型可以得到每个文字实例的边界控制点,基于 CNN 特征输入,并进行逐顶点的偏移预测。每个边界提议会从中均匀采样 N 个控制点,这些控制点形成一个封闭的多边形,兼顾拓扑上下文与序列上下文。

对于每个控制点 cpi=[xi,yi]Tcp_i = [x_i, y_i]^T,会生成特征向量 fif_i。

这些特征是从 CNN 主干网络获得的 32 维共享特征 FsF_s 和 4 维先验特征 FpF_p(如像素分类、距离场、方向场)组合而成。

具体公式为:

fi=concat{Fs(xi,yi),Fp(xi,yi)}f_i = \text{concat}\{F_s(x_i, y_i), F_p(x_i, y_i)\}

得到控制点与对应特征后,接着要细化边界提议。

这里引入 GCN 和 RNN 来进行边界变形,如下图所示:

编码器结合了 GCN 和 RNN,用于充分利用边界的拓扑与序列上下文,其公式为:

X′=RNN(X)⊕GCN(X)⊕Conv1x1(X)X' = \text{RNN}(X) \oplus \text{GCN}(X) \oplus \text{Conv1x1}(X)

其中,RNN 由一层隐藏大小为 128 的 BiLSTM 组成。


GCN 包含四层激活函数为 ReLU 的图卷积层,图卷积层的公式如下:

Xg=ReLU((X⊕GX)W)X_g = \text{ReLU}((X \oplus GX)W)

其中,G=D−1/2A~D−1/2G = D^{-1/2} \tilde{A} D^{-1/2},A~=A+IN\tilde{A} = A + I_N,AA为局部图的邻接矩阵,INI_N为单位矩阵,DD为对角矩阵。

GCN 中的每个控制点与其四个邻居相连,通过此种方式处理控制点间的上下文关系。


除了上面两个分支之外,还有一个 1×11 \times 1 卷积分支保留输入特征,共三个分支进行特征融合。

所有特征以拼接(Concat)后,输入到解码器中,解码器的输出为控制点的偏移量。

为了获得更精确的文字边界,会执行多次迭代的边界变形。这些步骤使得模型能够通过多次迭代变形,逐步细化初始的边界提议,最终达到精确的文字检测效果。

训练数据集

  • SynthText

    该数据集用于对模型进行预训练。这是一个大规模数据集,包含约 80 万张合成图像。这些图像由自然场景与随机字体、大小、颜色和方向的文字混合而成,具有很高的现实感。

  • CTW1500

    CTW1500 是一个针对长曲线文字检测的挑战性数据集,由 Yuliang 等人构建。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文字数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文字实例是由 14 个点的多边形标注,可以描述任意曲线文字的形状。

  • Total-Text

    Total-Text 是一个新发布的曲线文字检测数据集,包含水平、多方向及曲线文字实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。

  • MSRA-TD500

    这是一个多语言、任意方向和长文字行的数据集。包含 300 张训练图像和 200 张测试图像,文字行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。

  • ICDAR 2017 MLT

    IC17-MLT 是一个大规模的多语言文字数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。

讨论

消融实验

为验证自适应变形模型的有效性,作者在 Total-Text 与 CTW-1500 数据集做了几个消融实验。这组消融只用各自的真实数据集训练 660 个 epoch,没有使用 SynthText 预训练;与下方基准表的预训练列须分开看。

  1. 自适应变形模型的有效性:

    使用四种不同的编码器进行比较:全连接网络(FC)与 Conv1x1、RNN、循环卷积(Circular Convolution)、图卷积网络(GCN)。

    根据上表,自适应变形模型在两个数据集上都取得最高 F-measure:在 Total-Text 比 RNN 高 0.94 个百分点,在 CTW-1500 比 GCN 高 0.85 个百分点。它在两个数据集的速度分别为 10.56 与 12.08 FPS,与表列 RNN、GCN 接近。

  2. 控制点数量(N)的影响:

    作者研究了不同控制点数量对检测性能的影响,控制点数量设置为 12 到 32,间隔为 4。

    从上图可以看出,当控制点数过大或过小时,F-measure 会下降。特别是控制点数过少时,检测边界无法正确覆盖整个文字区域,导致性能大幅下降。当控制点数量约为 20 时,模型在 Total-Text 与 CTW-1500 数据集上取得最佳检测性能。因此,实验中控制点数量固定为 20。

  3. 迭代次数的影响:

    作者比较了不同推理迭代次数的模型性能。根据上表,在 CTW-1500 上从 1 次到 3 次迭代,F-measure 由 82.24% 升至 83.97%,速度由 13.68 降至 12.08 FPS;第 2 次到第 3 次仍提升 0.64 个百分点。综合速度与性能的平衡,实验中迭代次数设置为 3 次。

  4. 先验信息的影响:

    作者在 Total-Text 数据集上进行消融实验,验证不同先验信息(如分类图、距离场和方向场)的重要性。根据上表,仅使用分类图时,F-measure 为 79.87%;在此基础上加入距离场后提高 5.45 个百分点,再加入方向场后提高 1.55 个百分点。

曲线文字实验结果

Total-Text 实验结果

CTW-1500 实验结果


测试时,图像的短边缩放至 640,长边限制在 1024 像素内。用于获取候选边界提议的距离场阈值 thdth_d 固定为 0.3。

在 Total-Text 上测试时的分类阈值 thsth_s 设置为 0.825。

根据上表,使用 SynthText 预训练时,TextBPN 在 F-measure 上达到了 87.37%;使用 MLT17 预训练时,F-measure 提高至 87.85%。后者比表列先前最高的 Boundary(87.0%)高 0.85 个百分点;不同方法的额外训练数据与 FPS 条件须分开看。

在 CTW-1500 上测试时,分类阈值 thsth_s 设置为 0.8。

使用 MLT17 预训练的 TextBPN,精确率为 86.45%,F-measure 为 85.0%;87.81% 的精确率则属于 SynthText 预训练列,其 F-measure 为 84.51%。与表列 TextSnake(75.6%)和 DB(83.4%)相比,MLT17 版本的 F-measure 分别高 9.4 与 1.6 个百分点。

MSRA-TD500 实验结果

在 MSRA-TD500 上测试时,分类阈值 thsth_s 设置为 0.925。

使用 MLT17 预训练的 TextBPN 在 F-measure 上达到了 85.57%,高于表列 DB 的 84.9% 与 DRRG 的 85.08%;SynthText 预训练版本则为 82.97%。这些结果支持模型可检测任意方向与大小的长文字行,但比较时须保留各列的预训练条件。

可视化结果

图中蓝线是初始边界提议,绿线是迭代变形后的最终边界;(a)、(b) 为 Total-Text,(c)、(d) 为 CTW-1500 的示例。

结论

引入 GCN 和 RNN 在文字检测的领域中确实是个很新颖的策略。

实验结果证明,该方法在 Total-Text、CTW-1500 等具有挑战性的数据集上取得了显著的性能提升,特别是在处理不规则和曲线文字方面,展现了优异的表现。

未来的研究若能在保持检测精度的同时,进一步提升其推理速度与应用灵活性,将使该方法在更广泛的场景中展现出更大的实用性。