返回论文笔记资料库
CVPR 2016文本识别论文笔记

RARE

全自动校正

原始论文

Robust Scene Text Recognition With Automatic Rectification

论文作者

Baoguang Shi · Xinggang Wang · Pengyuan Lyu · Cong Yao · Xiang Bai

发表版本
CVPR 2016会议
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@inproceedings{textrecognitionrare2016,
  title = {{Robust Scene Text Recognition With Automatic Rectification}},
  author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},
  year = {2016},
  booktitle = {CVPR},
  url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}
}
本页内容

CRNN 提出后解决了大部分的问题,但对于不规则的文字识别仍然力有未逮。

定义问题

自然场景中的文字识别远比印刷文字困难得多。在识别阶段的文字常会有剧烈地变形、扭曲、屏蔽、模糊等问题。

而作者在这篇文章中,主要想解决的是变形和扭曲的问题。仔细回想一下,前一阵子不是有一个有名的 STN 的模型吗?

或许我们可以设计一个具有自动校正功能的模型?

解决问题

空间转换网络

为了缓解不规则文字的识别问题,自动校正功能要放在识别模块的前面。

这里作者引入空间变换网络(Spatial Transformer Network, STN)来校正输入图像。

STN 的主要目的是将输入图像 II 转换为校正后的图像 I′I',并通过预测的 TPS(Thin Plate Spline)转换进行校正。该网络会通过一个定位网络(Localization Network)预测一组基准点,然后利用这些基准点计算 TPS 转换参数,生成图像上的采样网格,最后利用采样网格来从输入图像生成校正后的图像 I′I'。

定位网络

定位网络负责定位 KK 个基准点,其输出是这些基准点的 xx、yy 坐标,记作:

C=[c1,…,cK]∈R2×K,ck=[xk,yk]⊤C = [c_1, \dots, c_K] \in \mathbb{R}^{2 \times K}, c_k = [x_k, y_k]^\top

坐标系统的中心点设在图像中央,坐标值范围在 [−1,1][-1, 1]。

该网络使用卷积神经网络进行回归学习坐标位置,输出层包含 2K2K 个节点,并使用 tanh 作为激活函数以确保输出值落在 (−1,1)(-1, 1) 范围内。

网络的训练由 STN 的其他部分反向传播的梯度完全监督,不需要人工标注基准点坐标。

网格生成器

作者先在校正后图像的上下边缘定义一组固定的「基本」基准点 C′C^\prime;定位网络则在输入图像上预测对应的基准点 CC,如上图。

网格生成器估计 TPS 变换参数,并产生采样网格,这里的 TPS 转换的参数由一个矩阵 T∈R2×(K+3)T \in \mathbb{R}^{2 \times (K+3)} 表示,该矩阵的计算公式为:

T=(ΔC′−1[C⊤03×2])⊤T = \left( \Delta_{C^\prime}^{-1} \begin{bmatrix} C^\top \\ 0^{3 \times 2} \end{bmatrix} \right)^\top

其中 ΔC′∈R(K+3)×(K+3)\Delta_{C^\prime} \in \mathbb{R}^{(K+3) \times (K+3)} 是一个由基准点 C′C^\prime 决定的矩阵,因此它是一个常数矩阵。

ΔC′\Delta_{C^\prime}的具体形式为:

ΔC′=[1K×1(C′)⊤R0011×K00C′]\Delta_{C^\prime} = \begin{bmatrix} 1^{K \times 1} & (C^\prime)^{\top} & R \\ 0 & 0 & 1^{1 \times K} \\ 0 & 0 & C^\prime \end{bmatrix}

其中 RR 矩阵的第 ii 行第 jj 列的元素 ri,jr_{i,j} 定义为:

ri,j=di,j2ln⁡di,j2,r_{i,j} = d_{i,j}^2 \ln d_{i,j}^2,

而 di,jd_{i,j} 则表示第 ii 个和第 jj 个基准点 ci′c^\prime_i 与 cj′c^\prime_j 之间的欧几里得距离。

校正后的图像 I′I' 上的像素网格表示为 P′={pi′}i=1,…,NP' = \{p'_i\}_{i=1, \dots, N},其中 pi′=[xi′,yi′]⊤p'_i = [x'_i, y'_i]^{\top} 为第 ii 个像素的 xx、yy 坐标,NN 是图像中的像素数。

对于每个在 I′I' 上的像素点 pi′p'_i,可以通过以下的转换找到对应于输入图像 II 上的像素点 pi=[xi,yi]⊤p_i = [x_i, y_i]^{\top}:

  1. 首先计算 pi′p'_i 与基准点的距离:

    ri,k′=di,k2ln⁡di,k2,r'_{i,k} = d_{i,k}^2 \ln d_{i,k}^2,

    其中 di,kd_{i,k} 是 pi′p'_i 与第 kk 个基准点 ck′c^\prime_k 的欧几里得距离。

  2. 然后构造增广向量 p^i′\hat{p}'_i:

    p^i′=[1,xi′,yi′,ri,1′,…,ri,K′]⊤.\hat{p}'_i = \left[ 1, x'_i, y'_i, r'_{i,1}, \dots, r'_{i,K} \right]^{\top}.
  3. 最后,通过以下矩阵运算将其转换为输入图像上的点 pip_i:

    pi=Tp^i′.p_i = T \hat{p}'_i.

通过对校正图像 I′I' 中的所有像素点进行以上运算,可以生成一个输入图像II上的像素网格 P={pi}i=1,…,NP = \{p_i\}_{i=1, \dots, N}。

由于矩阵 TT 的计算以及点 pip_i 的转换都是可微分的,因此网格生成器能够反向传播梯度,用于模型的训练。

采样器

采样器(Sampler)通过双线性插值从输入图像的像素值生成校正后的图像 I′I'。

校正后图像 I′I' 中的每个像素 pi′p'_i 的值是从输入图像 II 中相应的 pip_i 附近的像素进行双线性插值计算得到的。

这一过程同样可微分,识别误差因此能回传到校正模块。采样后的结果像下图这样:

编码器-解码器

完成图像的自动校正后,接着就回到我们熟悉的识别流程了。

首先是编码器(Encoder),这里使用的是 CRNN 模型,就是使用一个 Backbone 网络将输入图像转换成序列特征,接着输入 BiLSTM 网络进行时序建模。

接着是解码器(Decoder)。原本 CRNN 用 CTC 将逐帧预测转成文字;这篇改用结合注意力的 GRU,逐步产生字符。

解码器的部分,作者在解码时搭配了注意力机制,在每个时间步骤 tt,解码器会计算出一个注意力权重向量 αt∈RL\alpha_t \in \mathbb{R}^L,其中 LL 是输入序列的长度。

注意力权重的计算公式如下:

αt=Attend(st−1,αt−1,h)\alpha_t = \text{Attend}(s_{t-1}, \alpha_{t-1}, h)

其中:

  • st−1s_{t-1} 是上一时间步 GRU 单元的隐状态。
  • αt−1\alpha_{t-1} 是上一时间步的注意力权重向量。
  • hh 是编码器对输入序列的表示。

此 Attend 函数根据解码器的上一隐状态 st−1s_{t-1} 和先前的注意力权重 αt−1\alpha_{t-1},来计算当前的注意力权重向量 αt\alpha_t。这个向量的每个元素都是非负数,且所有元素的总和等于 1,代表了输入序列中每个元素对当前解码步骤的重要性。

计算出 αt\alpha_t 后,模型会生成一个称为 Glimpse 向量的 gtg_t,这个向量是对输入序列的编码表示 hh 的加权总和。

其计算公式为:

gt=∑i=1Lαtihig_t = \sum_{i=1}^{L} \alpha_{ti} h_i

其中:

  • αti\alpha_{ti} 是注意力权重向量 αt\alpha_t 的第 ii 个元素。
  • hih_i 是输入序列中第 ii 个元素的编码表示。

Glimpse 向量 gtg_t 是输入序列中模型当前关注部分的加权总和。

由于 αt\alpha_t 是一个概率分布(所有元素为非负数,且总和为 1),因此 gtg_t 是输入序列特征的加权组合,使解码器能够根据当前解码步骤,聚焦于输入序列中的不同部分。

在计算出 Glimpse 向量 gtg_t 后,解码器会利用 GRU 的递归公式来更新隐状态 sts_t:

st=GRU(lt−1,gt,st−1)s_t = \text{GRU}(l_{t-1}, g_t, s_{t-1})

其中:

  • lt−1l_{t-1} 是上一时间步的标签。
  • 在训练过程中,这是实际的标签。
  • 在测试过程中,这是上一时间步预测出的标签 l^t−1\hat{l}_{t-1}。
  • gtg_t 是由注意力机制计算出的 Glimpse 向量,表示模型当前关注的输入信息。
  • st−1s_{t-1} 是 GRU 在上一时间步的隐状态。

GRU 单元会根据前一步的标签 lt−1l_{t-1}、当前的 Glimpse 向量 gtg_t,以及前一步的隐状态 st−1s_{t-1} 来更新当前的隐状态 sts_t,从而编码当前步骤的输出与输入信息的关联。

在每个时间步骤中,解码器会根据更新后的隐状态 sts_t 来预测下一个输出字符。输出 y^t\hat{y}_t 是一个对所有可能字符的概率分布,其中包含一个特殊的「序列结束」符号(EOS),当模型预测到 EOS 时,序列生成过程即告结束。

字典辅助识别

最后的输出结果可能会有一些错误,这里作者使用了一个字典来帮助识别,在最后作者会比较有使用字典和没有使用字典的效果。

当测试图像与一个字典相关联时,模型会选择条件后验概率最高的词:

l∗=arg⁡max⁡llog⁡∏t=1∣l∣p(lt∣I;θ).l^* = \arg \max_l \log \prod_{t=1}^{|l|} p(l_t | I; \theta).

当字典非常大时(例如包含 50k 以上词汇的 Hunspell 字典),逐一检查所有词的计算成本很高,因此作者采用了前缀树来进行高效的近似搜索,如下图:

每个节点代表一个字符,从根节点到叶节点的路径表示一个词。

测试时,从根节点开始,每一步根据模型输出的分布选择后验概率最高的子节点,直到达到叶节点,对应的路径就是预测词。

由于树的深度不超过字典中最长词的长度,这种方法比逐一搜索的计算量小。论文在超过 1k 词的大词典实验中,还使用宽度为 7 的 beam search 保留多条候选路径。

模型训练

作者使用 Jaderberg 等人发布的合成数据集作为场景文字识别的训练数据:

  • Text Recognition Data:该数据集包含 800 万张训练图像及其对应的标注文字。这些图像由合成引擎生成,逼真度很高。

除此之外,没有使用其他额外数据。

训练批量大小设为 64,图像尺寸在训练和测试中都调整为 100×32100 \times 32。STN 的输出大小也是100×32100 \times 32。模型训练速度约为每秒处理 160 个样本,经过 3 个训练周期后,在 2 天内收敛。

评估指针

作者使用了四个常用的场景文字识别基准数据集来评估模型的性能,分别是:

  1. ICDAR 2003 (IC03)

    • 测试集包含 251 张场景图像,这些图像中带有标记的文字边界框。
    • 为了与先前的工作进行公平比较,通常会忽略包含非字母数字字符或少于三个字符的文字图像。经过过滤后,最终得到 860 张裁剪的文字图像作为测试集。
    • 每张测试图像都配有一个包含 50 个单词的词汇表(词典)。此外,还有一个完整词典,是将所有图像的词汇表合并而成,用于评估。
  2. ICDAR 2013 (IC13)

    • 测试集继承并修正了 IC03 的部分数据;本文沿用 IC03 的过滤规则后,以 857 张裁剪文字图像评估。
    • 与 IC03 不同,IC13 没有提供词汇表,因此评估时不使用词典辅助(即无词典设置)。
  3. IIIT 5K-Word (IIIT5k)

    • 测试集包含 3,000 张从网络上收集的裁剪文字图像,涵盖了更广泛的字体和语言变化。
    • 每张图像都附带了两个词汇表:一个包含 50 个单词的小词典和一个包含 1,000 个单词的大词典,用于词典辅助的评估。
  4. Street View Text (SVT)

    • 测试集由 249 张来自 Google 街景的场景图像组成,从中裁剪出 647 张文字图像。
    • 每个文字图像都配有一个包含 50 个单词的词汇表,用于词典辅助的评估。

讨论

与其他方法比较

上表显示了模型在各基准数据集上的结果,并与其他方法进行比较。在真正无词典限制的比较中,RARE 在 IIIT5K、SVT、IC03 和 IC13 均高于 CRNN;表中部分更高的 Jaderberg et al. [17] 数字仍受 90k 词典限制。

在 IIIT5K 的无词典设置,RARE 的 81.9% 比 CRNN【32】的 78.2% 高 3.7 个百分点。作者认为,IIIT5K 中的不规则文字是校正模块能发挥作用的原因之一。

尽管在部分数据集上模型落后于【17】的模型,RARE 能够识别随机字符串(如电话号码),而【17】的模型只能识别其 90k 字典内的单词。

在有词典辅助的识别任务中,RARE 在 IIIT5K、SVT 和 IC03 的各设置都略低于 CRNN,但仍与【17】有竞争力;不能把无词典的提升套用到词典设置。表中的 RARE(SRN only)也显示,加入校正模块后四个无词典列都有提升。

结论

这篇论文主要解决了不规则文字识别的问题,通过引入一个可微分的空间变换网络(STN)模块,来自动校正不规则文字,实现端到端的训练,并在多个基准数据集上取得了不错的效果。

作者也在实验中指出模型在「特别弯曲」的文字上表现不佳,原因可能是因为在训练数据中缺少对应的数据样态,这也是未来可以改进的方向。