Robust Scene Text Recognition With Automatic Rectification
- 发表版本
- CVPR 2016会议
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@inproceedings{textrecognitionrare2016,
title = {{Robust Scene Text Recognition With Automatic Rectification}},
author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},
year = {2016},
booktitle = {CVPR},
url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}
}
CRNN 提出后解决了大部分的问题,但对于不规则的文字识别仍然力有未逮。
定义问题
自然场景中的文字识别远比印刷文字困难得多。在识别阶段的文字常会有剧烈地变形、扭曲、屏蔽、模糊等问题。
而作者在这篇文章中,主要想解决的是变形和扭曲的问题。仔细回想一下,前一阵子不是有一个有名的 STN 的模型吗?
或许我们可以设计一个具有自动校正功能的模型?
解决问题
空间转换网络
为了缓解不规则文字的识别问题,自动校正功能要放在识别模块的前面。
这里作者引入空间变换网络(Spatial Transformer Network, STN)来校正输入图像。
STN 的主要目的是将输入图像 转换为校正后的图像 ,并通过预测的 TPS(Thin Plate Spline)转换进行校正。该网络会通过一个定位网络(Localization Network)预测一组基准点,然后利用这些基准点计算 TPS 转换参数,生成图像上的采样网格,最后利用采样网格来从输入图像生成校正后的图像 。
定位网络
定位网络负责定位 个基准点,其输出是这些基准点的 、 坐标,记作:
坐标系统的中心点设在图像中央,坐标值范围在 。
该网络使用卷积神经网络进行回归学习坐标位置,输出层包含 个节点,并使用 tanh 作为激活函数以确保输出值落在 范围内。
网络的训练由 STN 的其他部分反向传播的梯度完全监督,不需要人工标注基准点坐标。
网格生成器
作者先在校正后图像的上下边缘定义一组固定的「基本」基准点 ;定位网络则在输入图像上预测对应的基准点 ,如上图。
网格生成器估计 TPS 变换参数,并产生采样网格,这里的 TPS 转换的参数由一个矩阵 表示,该矩阵的计算公式为:
其中 是一个由基准点 决定的矩阵,因此它是一个常数矩阵。
的具体形式为:
其中 矩阵的第 行第 列的元素 定义为:
而 则表示第 个和第 个基准点 与 之间的欧几里得距离。
校正后的图像 上的像素网格表示为 ,其中 为第 个像素的 、 坐标, 是图像中的像素数。
对于每个在 上的像素点 ,可以通过以下的转换找到对应于输入图像 上的像素点 :
-
首先计算 与基准点的距离:
其中 是 与第 个基准点 的欧几里得距离。
-
然后构造增广向量 :
-
最后,通过以下矩阵运算将其转换为输入图像上的点 :
通过对校正图像 中的所有像素点进行以上运算,可以生成一个输入图像上的像素网格 。
由于矩阵 的计算以及点 的转换都是可微分的,因此网格生成器能够反向传播梯度,用于模型的训练。
采样器
采样器(Sampler)通过双线性插值从输入图像的像素值生成校正后的图像 。
校正后图像 中的每个像素 的值是从输入图像 中相应的 附近的像素进行双线性插值计算得到的。
这一过程同样可微分,识别误差因此能回传到校正模块。采样后的结果像下图这样:
编码器-解码器
完成图像的自动校正后,接着就回到我们熟悉的识别流程了。
首先是编码器(Encoder),这里使用的是 CRNN 模型,就是使用一个 Backbone 网络将输入图像转换成序列特征,接着输入 BiLSTM 网络进行时序建模。
接着是解码器(Decoder)。原本 CRNN 用 CTC 将逐帧预测转成文字;这篇改用结合注意力的 GRU,逐步产生字符。
解码器的部分,作者在解码时搭配了注意力机制,在每个时间步骤 ,解码器会计算出一个注意力权重向量 ,其中 是输入序列的长度。
注意力权重的计算公式如下:
其中:
- 是上一时间步 GRU 单元的隐状态。
- 是上一时间步的注意力权重向量。
- 是编码器对输入序列的表示。
此 Attend 函数根据解码器的上一隐状态 和先前的注意力权重 ,来计算当前的注意力权重向量 。这个向量的每个元素都是非负数,且所有元素的总和等于 1,代表了输入序列中每个元素对当前解码步骤的重要性。
计算出 后,模型会生成一个称为 Glimpse 向量的 ,这个向量是对输入序列的编码表示 的加权总和。
其计算公式为:
其中:
- 是注意力权重向量 的第 个元素。
- 是输入序列中第 个元素的编码表示。
Glimpse 向量 是输入序列中模型当前关注部分的加权总和。
由于 是一个概率分布(所有元素为非负数,且总和为 1),因此 是输入序列特征的加权组合,使解码器能够根据当前解码步骤,聚焦于输入序列中的不同部分。
在计算出 Glimpse 向量 后,解码器会利用 GRU 的递归公式来更新隐状态 :
其中:
- 是上一时间步的标签。
- 在训练过程中,这是实际的标签。
- 在测试过程中,这是上一时间步预测出的标签 。
- 是由注意力机制计算出的 Glimpse 向量,表示模型当前关注的输入信息。
- 是 GRU 在上一时间步的隐状态。
GRU 单元会根据前一步的标签 、当前的 Glimpse 向量 ,以及前一步的隐状态 来更新当前的隐状态 ,从而编码当前步骤的输出与输入信息的关联。
在每个时间步骤中,解码器会根据更新后的隐状态 来预测下一个输出字符。输出 是一个对所有可能字符的概率分布,其中包含一个特殊的「序列结束」符号(EOS),当模型预测到 EOS 时,序列生成过程即告结束。
字典辅助识别
最后的输出结果可能会有一些错误,这里作者使用了一个字典来帮助识别,在最后作者会比较有使用字典和没有使用字典的效果。
当测试图像与一个字典相关联时,模型会选择条件后验概率最高的词:
当字典非常大时(例如包含 50k 以上词汇的 Hunspell 字典),逐一检查所有词的计算成本很高,因此作者采用了前缀树来进行高效的近似搜索,如下图:
每个节点代表一个字符,从根节点到叶节点的路径表示一个词。
测试时,从根节点开始,每一步根据模型输出的分布选择后验概率最高的子节点,直到达到叶节点,对应的路径就是预测词。
由于树的深度不超过字典中最长词的长度,这种方法比逐一搜索的计算量小。论文在超过 1k 词的大词典实验中,还使用宽度为 7 的 beam search 保留多条候选路径。
模型训练
作者使用 Jaderberg 等人发布的合成数据集作为场景文字识别的训练数据:
- Text Recognition Data:该数据集包含 800 万张训练图像及其对应的标注文字。这些图像由合成引擎生成,逼真度很高。
除此之外,没有使用其他额外数据。
训练批量大小设为 64,图像尺寸在训练和测试中都调整为 。STN 的输出大小也是。模型训练速度约为每秒处理 160 个样本,经过 3 个训练周期后,在 2 天内收敛。
评估指针
作者使用了四个常用的场景文字识别基准数据集来评估模型的性能,分别是:
-
ICDAR 2003 (IC03)
- 测试集包含 251 张场景图像,这些图像中带有标记的文字边界框。
- 为了与先前的工作进行公平比较,通常会忽略包含非字母数字字符或少于三个字符的文字图像。经过过滤后,最终得到 860 张裁剪的文字图像作为测试集。
- 每张测试图像都配有一个包含 50 个单词的词汇表(词典)。此外,还有一个完整词典,是将所有图像的词汇表合并而成,用于评估。
-
ICDAR 2013 (IC13)
- 测试集继承并修正了 IC03 的部分数据;本文沿用 IC03 的过滤规则后,以 857 张裁剪文字图像评估。
- 与 IC03 不同,IC13 没有提供词汇表,因此评估时不使用词典辅助(即无词典设置)。
-
IIIT 5K-Word (IIIT5k)
- 测试集包含 3,000 张从网络上收集的裁剪文字图像,涵盖了更广泛的字体和语言变化。
- 每张图像都附带了两个词汇表:一个包含 50 个单词的小词典和一个包含 1,000 个单词的大词典,用于词典辅助的评估。
-
Street View Text (SVT)
- 测试集由 249 张来自 Google 街景的场景图像组成,从中裁剪出 647 张文字图像。
- 每个文字图像都配有一个包含 50 个单词的词汇表,用于词典辅助的评估。
讨论
与其他方法比较
上表显示了模型在各基准数据集上的结果,并与其他方法进行比较。在真正无词典限制的比较中,RARE 在 IIIT5K、SVT、IC03 和 IC13 均高于 CRNN;表中部分更高的 Jaderberg et al. [17] 数字仍受 90k 词典限制。
在 IIIT5K 的无词典设置,RARE 的 81.9% 比 CRNN【32】的 78.2% 高 3.7 个百分点。作者认为,IIIT5K 中的不规则文字是校正模块能发挥作用的原因之一。
尽管在部分数据集上模型落后于【17】的模型,RARE 能够识别随机字符串(如电话号码),而【17】的模型只能识别其 90k 字典内的单词。
在有词典辅助的识别任务中,RARE 在 IIIT5K、SVT 和 IC03 的各设置都略低于 CRNN,但仍与【17】有竞争力;不能把无词典的提升套用到词典设置。表中的 RARE(SRN only)也显示,加入校正模块后四个无词典列都有提升。
结论
这篇论文主要解决了不规则文字识别的问题,通过引入一个可微分的空间变换网络(STN)模块,来自动校正不规则文字,实现端到端的训练,并在多个基准数据集上取得了不错的效果。
作者也在实验中指出模型在「特别弯曲」的文字上表现不佳,原因可能是因为在训练数据中缺少对应的数据样态,这也是未来可以改进的方向。