返回论文笔记资料库
AAAI 2019文本识别论文笔记

CA-FCN

引入新的维度

原始论文

Scene Text Recognition from Two-Dimensional Perspective

论文作者

Minghui Liao · Jian Zhang · Zhaoyi Wan …

查看全部 8 位作者

Minghui Liao · Jian Zhang · Zhaoyi Wan · Fengming Xie · Jiajun Liang · Pengyuan Lyu · Cong Yao · Xiang Bai

发表版本
AAAI 2019会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{textrecognitioncafcn2019,
  title = {{Scene Text Recognition from Two-Dimensional Perspective}},
  author = {Minghui Liao and Jian Zhang and Zhaoyi Wan and Fengming Xie and Jiajun Liang and Pengyuan Lyu and Cong Yao and Xiang Bai},
  year = {2019},
  booktitle = {AAAI},
  url = {https://doi.org/10.1609/aaai.v33i01.33018714},
  doi = {10.1609/aaai.v33i01.33018714}
}
本页内容

CRNN 和后续的改进研究在场景文字识别领域在近几年占据了主导地位,想要创新并不容易。

这篇论文的作者选择撇开过去的研究,从二维的角度重新思考场景文字识别的问题。

定义问题

过去的研究,像是 CRNN 等,都选择把输入图像压缩成一维的时序数据,这样的做法在规则文字的识别上效果不错,但对于高度弯曲的文字则是存在一定的困难。

如上图,在左图 (a) 中是一张包含了高度弯曲文字的图像,如果我们把图像压缩成一维的时序数据,你可以观察到每个时序会引入大量的背景杂讯(因为文字弯曲的关系),这样的背景杂讯会对文字识别造成干扰。

此外,由于文字弯曲,每个时序(Column)可能会同时涵盖多个文字,这样表示模型必须从叠加的文字特征中找出正确的文字,这显然不是一件容易的事。

作者认为,将图像压缩成一维时序数据的做法,对于高度弯曲的文字识别并不适用,因此提出了一个新的方法:

  • 将图像保持二维的形式,并在二维的空间中进行文字识别。

引入新的维度还有一个好处:识别时不必先把特征压缩成一维时序;最后组成单词时仍要考虑字符顺序。

我们可以只用卷积网络完成整个识别过程。

解决问题

模型架构

作者提出的模型架构如上图。

这里引入 FCN 的概念,利用全卷积网络的概念,我们可以预先定义几个文字类别,模型会对输入图像的每个像素点进行分类,这样一来,就将文字识别的问题转换成一个「像素级的分类问题」。

上图中的「蓝色」区块,作者选用 VGG 作为 Backbone,取出 1/2, 1/4, 1/8 的特征图。

跟着「蓝色」区块向上看,这些特征图用来预测文字区域图,每个分辨率都会有对应的预测结果,这个分支会在训练时进行监督。

得到预测结果后,就是「文字区域注意力」图,接著作者把这张图乘上原始的特征图,就能得到「加权后」的文字区域特征。

加权的算法为:

Fo=Fi⊗(1+A)F_o = F_i \otimes (1 + A)

这里的 FoF_o 是加权后的特征图,FiF_i 是原始的特征图,AA 是文字区域注意力图。

这些特征图一路进行上采样,最后输出 C 个信道的文字特征图。

这里的 C 个信道,就是我们预先定义的文字类别数量。

训练数据设计

制作训练数据分为几个步骤,作者首先准备带有「字符级」标注的训练数据,然后根据这些标注绘制成文字区域二值图,也就是上图的 (b)。

设 b=(xmin,ymin,xmax,ymax)b = (x_{min}, y_{min}, x_{max}, y_{max}) 为原始的文字边界框,这可以表示为覆盖文字的最小轴对齐矩形框。

实际的文字区域标注 g=(xming,yming,xmaxg,ymaxg)g = (x^g_{min}, y^g_{min}, x^g_{max}, y^g_{max}) 可以依照以下公式计算:

w=xmax−xminw = x_{max} - x_{min} h=ymax−yminh = y_{max} - y_{min} xming=xmin+xmax−w×r2x^g_{min} = \frac{x_{min} + x_{max} - w \times r}{2} yming=ymin+ymax−h×r2y^g_{min} = \frac{y_{min} + y_{max} - h \times r}{2} xmaxg=xmin+xmax+w×r2x^g_{max} = \frac{x_{min} + x_{max} + w \times r}{2} ymaxg=ymin+ymax+h×r2y^g_{max} = \frac{y_{min} + y_{max} + h \times r}{2}

其中,rr 为文字区域的缩放比例。

这里缩小文字区域的原因是:若不缩小,相邻字符的区域容易重叠;缩小后更容易将它们分开。

在具体实作中,作者将 rr 设为 0.5 用于注意力监督,并设为 0.25 用于最终输出监督。

损失函数

损失函数是字符预测损失函数 LpL_p 和字符注意力损失函数 LaL_a 的加权总和:

L=Lp+α∑s=25LasL = L_p + \alpha \sum_{s=2}^{5} L^s_a

其中,ss 代表阶段的索引,α\alpha 经验上设为 1.0。

CA-FCN 的最终输出形状为 H/2×W/2×CH/2 \times W/2 \times C,其中 HH 和 WW 分别是输入图片的高度和宽度,CC 是包含字符类别和背景在内的类别数。

假设 Xi,j,cX_{i,j,c} 是输出图中的一个元素,i∈{1,...,H/2}i \in \{1, ..., H/2\},j∈{1,...,W/2}j \in \{1, ..., W/2\},c∈{0,1,...,C−1}c \in \{0, 1, ..., C-1\};Yi,j∈{0,1,...,C−1}Y_{i,j} \in \{0, 1, ..., C-1\} 表示对应的类别标签。

预测损失可以按照以下公式计算:

Lp=−4H×W∑i=1H/2∑j=1W/2Wi,j(∑c=0C−1(Yi,j==c)log⁡(eXi,j,c∑k=0C−1eXi,j,k)),L_p = - \frac{4}{H \times W} \sum_{i=1}^{H/2} \sum_{j=1}^{W/2} W_{i,j} \left( \sum_{c=0}^{C-1} (Y_{i,j} == c) \log\left(\frac{e^{X_{i,j,c}}}{\sum_{k=0}^{C-1} e^{X_{i,j,k}}}\right) \right),

其中,Wi,jW_{i,j} 是每个像素对应的权重。

假设 N=H/2×W/2N = H/2 \times W/2 且 NnegN_{neg} 为背景像素的数量,权重可以依照以下方式计算:

Wi,j={NnegN−NnegIf Yi,j>0,1OtherwiseW_{i,j} = \begin{cases} \frac{N_{neg}}{N - N_{neg}} & \text{If} \ Y_{i,j} > 0, \\ 1 & \text{Otherwise} \end{cases}

字符注意力损失函数是一个二元交叉熵损失函数,将所有字符标签视为 1,背景标签视为 0:

Las=−4Hs×Ws∑i=1Hs/2∑j=1Ws/2(∑c=01(Yi,j==c)log⁡(eXi,j,c∑k=01eXi,j,k)),L^s_a = - \frac{4}{H_s \times W_s} \sum_{i=1}^{H_s/2} \sum_{j=1}^{W_s/2} \left( \sum_{c=0}^{1} (Y_{i,j} == c) \log\left(\frac{e^{X_{i,j,c}}}{\sum_{k=0}^{1} e^{X_{i,j,k}}}\right) \right),

其中,HsH_s 和 WsW_s 分别是对应阶段 ss 中特征图的高度和宽度。

字词生成模块

如上图,字词生成模块将 CA-FCN 预测出的精确二维字符图转换为字符序列。

  • 首先,作者将字符预测图转换为二元图,利用阈值来提取对应的字符区域
  • 接着,计算每个区域在 CC 个类别中的平均值,并将平均值最大的类别指派给该区域
  • 最后,我们通过从左到右的顺序排列这些区域来形成单词。

通过这种方式,可以同时生成单词和每个字符的位置。

字词生成模块假设单词大致上是从左到右排列的,但在某些情况下可能无法适用,如果有必要,可以在 CA-FCN 中插入一个可学习的组件。

字词生成模块结构简单但有效,仅有一个超参数(形成二元图的阈值),该阈值在所有实验中均设为 240/255。

评估指针

作者使用了五个常用的场景文字识别基准数据集来评估模型的性能,分别是:

  1. ICDAR 2003 (IC03)

    • 测试集包含 251 张场景图像,这些图像中带有标记的文字边界框。
    • 为了与先前的工作进行公平比较,通常会忽略包含非字母数字字符或少于三个字符的文字图像。经过过滤后,最终得到 860 张裁剪的文字图像作为测试集。
    • 每张测试图像都配有一个包含 50 个单词的词汇表(词典)。此外,还有一个完整词典,是将所有图像的词汇表合并而成,用于评估。
  2. ICDAR 2013 (IC13)

    • 测试集继承并修正了 IC03 的部分数据,原有 1,015 张裁剪的文字图像;本文评估时另排除非字母数字或少于三个字符的样本。
    • 与 IC03 不同,IC13 没有提供词汇表,因此评估时不使用词典辅助(即无词典设置)。
  3. IIIT 5K-Word (IIIT5k)

    • 测试集包含 3,000 张从网络上收集的裁剪文字图像,涵盖了更广泛的字体和语言变化。
    • 每张图像都附带了两个词汇表:一个包含 50 个单词的小词典和一个包含 1,000 个单词的大词典,用于词典辅助的评估。
  4. Street View Text (SVT)

    • 测试集由 249 张来自 Google 街景的场景图像组成,从中裁剪出 647 张文字图像。
    • 每个文字图像都配有一个包含 50 个单词的词汇表,用于词典辅助的评估。
  5. CUTE

    • 测试集包含 288 张图像,其中有大量的弯曲文字,没有提供词汇表。

训练策略

由于 CA-FCN 是全卷积架构,因此对于输入图片的大小没有任何限制。

作者采用多尺度训练,使模型具有更强的稳健性,输入图片会随机调整为:

  • 32×12832 \times 128
  • 48×19248 \times 192
  • 64×25664 \times 256

此外,训练过程中也使用了数据增强技术,包括随机旋转、色相、亮度、对比度和模糊处理,其中旋转角度介于 [−15∘,15∘][-15^\circ, 15^\circ] 之间。

其他参数如下:

  • 使用 Adam 优化器来进行训练,初始学习率设为 10−410^{-4}。
  • 学习率会在第 3 周期降到 10−510^{-5},在第 4 周期降到 10−610^{-6}。
  • 模型总共训练约 5 个周期。
  • 字符类别数设为 38,包含 26 个字母、10 个数字、1 个特殊字符(代表字母和数字以外的字符),以及 1 个背景类别。

在测试阶段,图片会被调整为 Ht×WtH_t \times W_t 的大小,其中 HtH_t 固定为 64,而 WtW_t 依照以下公式计算:

Wt={W×HtHIf W/H>4,256OtherwiseW_t = \begin{cases} W \times \frac{H_t}{H} & \text{If} \ W/H > 4, \\ 256 & \text{Otherwise} \end{cases}

其中,HH 和 WW 是原始图片的高度和宽度。

讨论

和其他方法的比较

CA-FCN 在部分基准与训练条件下达到表中最高的准确率。

  • 在 IIIT 数据集(无词典)中,基础版的 92.0% 比此前表中最高的 88.3% 高 3.7 个百分点。
  • 在不规则文字数据集 CUTE 中,基础版 78.1% 比此前表中最高的 76.8% 高 1.3 个百分点;使用额外合成数据微调的版本为 79.9%,才是 3.1 个百分点的差距。
  • 在 SVT 和 IC13 等其他数据集中也有竞争力,但无词典列并非都领先。

为了与 (Cheng et al. 2017) 进行公平比较,作者使用 SynthText 的生成方法及 Synth90k 的词典,额外产生 400 万张合成图像微调。这个「Ours+data」版本在 SVT 无词典列达到 86.4%,高于 Cheng et al. 2017 的 85.9%,但仍低于表中 Bai et al. 2018 的 87.5%。

(Bai et al. 2018) 在常规文字识别上取得了不错的成绩。CA-FCN 在 IIIT 的三个列及 SVT 的 50 词典列高于它,但在 SVT 无词典和 IC13 列较低;表中没有 Bai et al. 2018 的 CUTE 成绩,无法直接比较。

可视化结果

作者在论文中展示了 CA-FCN 的可视化结果,上图是用在 IIIT 和 CUTE80 数据集上的结果。

结论

CA-FCN 采用二维模型来处理文字识别问题,通过在每个像素位置进行字符分类,算法能够有效识别规则和不规则的文字。

实验结果显示,该模型在常规和不规则文字的多个基准上表现出竞争力,并在部分设置中超过先前方法。