Scene Text Recognition from Two-Dimensional Perspective
- 发表版本
- AAAI 2019会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{textrecognitioncafcn2019,
title = {{Scene Text Recognition from Two-Dimensional Perspective}},
author = {Minghui Liao and Jian Zhang and Zhaoyi Wan and Fengming Xie and Jiajun Liang and Pengyuan Lyu and Cong Yao and Xiang Bai},
year = {2019},
booktitle = {AAAI},
url = {https://doi.org/10.1609/aaai.v33i01.33018714},
doi = {10.1609/aaai.v33i01.33018714}
}
CRNN 和后续的改进研究在场景文字识别领域在近几年占据了主导地位,想要创新并不容易。
这篇论文的作者选择撇开过去的研究,从二维的角度重新思考场景文字识别的问题。
定义问题
过去的研究,像是 CRNN 等,都选择把输入图像压缩成一维的时序数据,这样的做法在规则文字的识别上效果不错,但对于高度弯曲的文字则是存在一定的困难。
如上图,在左图 (a) 中是一张包含了高度弯曲文字的图像,如果我们把图像压缩成一维的时序数据,你可以观察到每个时序会引入大量的背景杂讯(因为文字弯曲的关系),这样的背景杂讯会对文字识别造成干扰。
此外,由于文字弯曲,每个时序(Column)可能会同时涵盖多个文字,这样表示模型必须从叠加的文字特征中找出正确的文字,这显然不是一件容易的事。
作者认为,将图像压缩成一维时序数据的做法,对于高度弯曲的文字识别并不适用,因此提出了一个新的方法:
- 将图像保持二维的形式,并在二维的空间中进行文字识别。
引入新的维度还有一个好处:识别时不必先把特征压缩成一维时序;最后组成单词时仍要考虑字符顺序。
我们可以只用卷积网络完成整个识别过程。
解决问题
模型架构
作者提出的模型架构如上图。
这里引入 FCN 的概念,利用全卷积网络的概念,我们可以预先定义几个文字类别,模型会对输入图像的每个像素点进行分类,这样一来,就将文字识别的问题转换成一个「像素级的分类问题」。
上图中的「蓝色」区块,作者选用 VGG 作为 Backbone,取出 1/2, 1/4, 1/8 的特征图。
跟着「蓝色」区块向上看,这些特征图用来预测文字区域图,每个分辨率都会有对应的预测结果,这个分支会在训练时进行监督。
得到预测结果后,就是「文字区域注意力」图,接著作者把这张图乘上原始的特征图,就能得到「加权后」的文字区域特征。
加权的算法为:
这里的 是加权后的特征图, 是原始的特征图, 是文字区域注意力图。
这些特征图一路进行上采样,最后输出 C 个信道的文字特征图。
这里的 C 个信道,就是我们预先定义的文字类别数量。
训练数据设计
制作训练数据分为几个步骤,作者首先准备带有「字符级」标注的训练数据,然后根据这些标注绘制成文字区域二值图,也就是上图的 (b)。
设 为原始的文字边界框,这可以表示为覆盖文字的最小轴对齐矩形框。
实际的文字区域标注 可以依照以下公式计算:
其中, 为文字区域的缩放比例。
这里缩小文字区域的原因是:若不缩小,相邻字符的区域容易重叠;缩小后更容易将它们分开。
在具体实作中,作者将 设为 0.5 用于注意力监督,并设为 0.25 用于最终输出监督。
损失函数
损失函数是字符预测损失函数 和字符注意力损失函数 的加权总和:
其中, 代表阶段的索引, 经验上设为 1.0。
CA-FCN 的最终输出形状为 ,其中 和 分别是输入图片的高度和宽度, 是包含字符类别和背景在内的类别数。
假设 是输出图中的一个元素,,,; 表示对应的类别标签。
预测损失可以按照以下公式计算:
其中, 是每个像素对应的权重。
假设 且 为背景像素的数量,权重可以依照以下方式计算:
字符注意力损失函数是一个二元交叉熵损失函数,将所有字符标签视为 1,背景标签视为 0:
其中, 和 分别是对应阶段 中特征图的高度和宽度。
字词生成模块
如上图,字词生成模块将 CA-FCN 预测出的精确二维字符图转换为字符序列。
- 首先,作者将字符预测图转换为二元图,利用阈值来提取对应的字符区域
- 接着,计算每个区域在 个类别中的平均值,并将平均值最大的类别指派给该区域
- 最后,我们通过从左到右的顺序排列这些区域来形成单词。
通过这种方式,可以同时生成单词和每个字符的位置。
字词生成模块假设单词大致上是从左到右排列的,但在某些情况下可能无法适用,如果有必要,可以在 CA-FCN 中插入一个可学习的组件。
字词生成模块结构简单但有效,仅有一个超参数(形成二元图的阈值),该阈值在所有实验中均设为 240/255。
评估指针
作者使用了五个常用的场景文字识别基准数据集来评估模型的性能,分别是:
-
ICDAR 2003 (IC03)
- 测试集包含 251 张场景图像,这些图像中带有标记的文字边界框。
- 为了与先前的工作进行公平比较,通常会忽略包含非字母数字字符或少于三个字符的文字图像。经过过滤后,最终得到 860 张裁剪的文字图像作为测试集。
- 每张测试图像都配有一个包含 50 个单词的词汇表(词典)。此外,还有一个完整词典,是将所有图像的词汇表合并而成,用于评估。
-
ICDAR 2013 (IC13)
- 测试集继承并修正了 IC03 的部分数据,原有 1,015 张裁剪的文字图像;本文评估时另排除非字母数字或少于三个字符的样本。
- 与 IC03 不同,IC13 没有提供词汇表,因此评估时不使用词典辅助(即无词典设置)。
-
IIIT 5K-Word (IIIT5k)
- 测试集包含 3,000 张从网络上收集的裁剪文字图像,涵盖了更广泛的字体和语言变化。
- 每张图像都附带了两个词汇表:一个包含 50 个单词的小词典和一个包含 1,000 个单词的大词典,用于词典辅助的评估。
-
Street View Text (SVT)
- 测试集由 249 张来自 Google 街景的场景图像组成,从中裁剪出 647 张文字图像。
- 每个文字图像都配有一个包含 50 个单词的词汇表,用于词典辅助的评估。
-
CUTE
- 测试集包含 288 张图像,其中有大量的弯曲文字,没有提供词汇表。
训练策略
由于 CA-FCN 是全卷积架构,因此对于输入图片的大小没有任何限制。
作者采用多尺度训练,使模型具有更强的稳健性,输入图片会随机调整为:
此外,训练过程中也使用了数据增强技术,包括随机旋转、色相、亮度、对比度和模糊处理,其中旋转角度介于 之间。
其他参数如下:
- 使用 Adam 优化器来进行训练,初始学习率设为 。
- 学习率会在第 3 周期降到 ,在第 4 周期降到 。
- 模型总共训练约 5 个周期。
- 字符类别数设为 38,包含 26 个字母、10 个数字、1 个特殊字符(代表字母和数字以外的字符),以及 1 个背景类别。
在测试阶段,图片会被调整为 的大小,其中 固定为 64,而 依照以下公式计算:
其中, 和 是原始图片的高度和宽度。
讨论
和其他方法的比较
CA-FCN 在部分基准与训练条件下达到表中最高的准确率。
- 在 IIIT 数据集(无词典)中,基础版的 92.0% 比此前表中最高的 88.3% 高 3.7 个百分点。
- 在不规则文字数据集 CUTE 中,基础版 78.1% 比此前表中最高的 76.8% 高 1.3 个百分点;使用额外合成数据微调的版本为 79.9%,才是 3.1 个百分点的差距。
- 在 SVT 和 IC13 等其他数据集中也有竞争力,但无词典列并非都领先。
为了与 (Cheng et al. 2017) 进行公平比较,作者使用 SynthText 的生成方法及 Synth90k 的词典,额外产生 400 万张合成图像微调。这个「Ours+data」版本在 SVT 无词典列达到 86.4%,高于 Cheng et al. 2017 的 85.9%,但仍低于表中 Bai et al. 2018 的 87.5%。
(Bai et al. 2018) 在常规文字识别上取得了不错的成绩。CA-FCN 在 IIIT 的三个列及 SVT 的 50 词典列高于它,但在 SVT 无词典和 IC13 列较低;表中没有 Bai et al. 2018 的 CUTE 成绩,无法直接比较。
可视化结果
作者在论文中展示了 CA-FCN 的可视化结果,上图是用在 IIIT 和 CUTE80 数据集上的结果。
结论
CA-FCN 采用二维模型来处理文字识别问题,通过在每个像素位置进行字符分类,算法能够有效识别规则和不规则的文字。
实验结果显示,该模型在常规和不规则文字的多个基准上表现出竞争力,并在部分设置中超过先前方法。