返回论文笔记资料库
IEEE TPAMI 2017文本识别论文笔记

CRNN

我全都要!

原始论文

An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition

论文作者

Baoguang Shi · Xiang Bai · Cong Yao

引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@article{textrecognitioncrnn2017,
  title = {{An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition}},
  author = {Baoguang Shi and Xiang Bai and Cong Yao},
  year = {2017},
  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},
  url = {https://doi.org/10.1109/tpami.2016.2646371},
  doi = {10.1109/tpami.2016.2646371}
}
本页内容

OCR 是个古老的学科,但在深度学习的推动下,它又变得热门起来。

定义问题

随着深度学习的普及,OCR(光学字符识别)领域迎来了新的发展机遇。与传统的基于手工设计特征的分类方法相比,基于 CNN(卷积神经网络)的 OCR 方法表现出更高的性能和更强的泛化能力。

这其中最重要的优势之一是 CNN 能够自动从图像中学习特征,无需人工设计和挑选特征,这省去了人工设计和筛选特征的工作。

然而,文字识别中的一个关键问题仍然存在:如何有效地进行分类?

对于最后的文字分类,有几个主流的方法,我们先跟隔壁的 CHAR 借一张图片来看看:

1. 定义词典

Dictionary Encoding,这是最简单和直接的方法,也称为词典编码。在这种方法中,系统会先定义一个词典,这个词典包含了所有可能的标签(通常是词或词组)。当系统处理一张图片时,识别出的文字会被分类到词典中的某个词条。简单来说,模型的任务是从一个预定的词列表中选择出最合适的词。

当图像中的文字不在词典中时,这种方法会失效,模型无法识别出词典外的内容。这对于处理词典外的随机字符串(例如随机生成的密码、电话号码等)来说,效果不佳。

另外,如果需要处理的词典非常大(例如几十万个词条),系统的效率会受到严重影响,且词典的扩展性较差。

2. 字符序列编码

Character Sequence Encoding,字符序列编码是另一种常见的分类方法,与词典编码不同,它不依赖于一个预定义的词典,而是将文字直接分类到一个字符序列中。这意味着,系统不需要知道具体的词,而是依据图像中的每个字符进行分类,最终构建出一个完整的字符序列来表示图像中的文字。

字符序列编码比词典编码更具挑战,因为模型需要学习每个字符的特征,并能够准确地将字符组合成完整的序列,这对于模型的能力要求更高。由于字符序列间存在依赖关系,模型需要具备良好的上下文理解能力,否则可能会产生错误的字符组合。

3. N-gram 编码

Bag-of-N-gram Encoding,N-gram 编码是一种折衷的解决方案,它将图片中的文字分类为 N-gram 序列,这种方法可以理解为一种词和字符的混合方法。

N-gram 是由 N 个字符组成的序列,N 可以是 2(即 bi-gram),也可以是 3(即 tri-gram),甚至是更长的序列。这种编码方法不仅能够识别单个字符,也能识别字符组合,从而更好地捕捉上下文信息。

随着 N 的增加,N-gram 组合的数量会急剧上升,这会导致计算成本增高,特别是在处理长文字序列时,效率可能会降低。对于某些词汇,N-gram 可能无法准确捕捉到整体词汇的语义,尤其是在 N 值较小的情况下,识别的精度可能不如词典编码或字符序列编码。


综合以上,作者希望一个优秀的模型可以满足几个诉求:

  1. 端到端训练:不需要预处理或分步骤操作,直接从图像中学习特征。
  2. 卷积特征:使用从训练图像中学习到的卷积特征,而非手工设计的特征。
  3. 无需字符级标注:不需要字符级标注来训练模型,直接从图像中学习文字序列。
  4. 无限制:不受限于特定词典,能够处理词典外、字符集内的变长文字序列。
  5. 模型规模小:模型存储空间小,运行效率高。

看起来是有点贪心了,我们来看看作者是怎么做的。

解决问题

模型架构

CRNN 模型由三个部分组成,我们搭配上图来看:

卷积网络层

从上图中的最底层开始看,也就是 Convolutional Layers 的部分,这个部分就是我们熟悉的卷积神经网络,用来提取图像特征。

这里假设输入带有文字的图片尺寸为 128x32(宽×高)。送入序列模型的是卷积网络输出特征图的各个「column」,而非原图的 128 个像素栏;每一栏的特征会串接成一个向量。

这里其实有一种选择是:「直接将原图送进序列模型」。

但这样可能会让模型过于复杂,当序列长度过长时,模型会难以训练。所以这里作者选择先将图片经过卷积网络提取特征,再将特征送进序列模型。

不过使用卷积网络又会遇到另一个问题:如果水平方向降采样太多,序列就会过短。

还是用刚才的例子,如果输入文字图片的宽度为 128,连续以步长 2 缩小宽度,最后能保留的特征栏数就很少。

这显然不是我们想要的,可以用来预测的信息太少了!

所以作者把第 3、4 个 MaxPooling 改为宽×高 1×2 的长方形窗口,保留更多水平方向的特征栏。

整个卷积网络仍会缩小宽度:论文的例子是 100×32 图像约产生 25 个序列时间步。

循环神经网络层

接着是中间的 Recurrent Layers。

刚才已经把输入文字图像转换成序列数据,接下来就是要将这些数据送进序列模型中,在这里作者选用 BiLSTM 来处理这个序列。

LSTM 是一种改进的 RNN(循环神经网络),主要改进传统 RNN 的长期依赖问题。RNN 会随着时间步长的增加,难以记住之前的信息,特别是序列中的长距离依赖。LSTM 通过使用「记忆单元」和「门机制」(如输入门、遗忘门和输出门)来控制信息的流动,从而在长时间的序列中保持重要信息并丢弃不重要的内容,这使得它能够更好地处理长序列数据。

BiLSTM 结合了 LSTM 和双向网络的优点。它结合两个方向的 LSTM:一个从前向后(从序列的头到尾)处理,另一个从后向前(从序列的尾到头)处理。这样每个时间步的信息都包含了来自两个方向的上下文。对于像语言模型、语音识别或机器翻译等任务,BiLSTM 能够更好地捕捉整体的语境,从而提高模型的预测准确性。

回到刚才的问题,经过 CNN 提取特征后,序列长度是输出特征图的宽度。每个时序点对应原图中的一个感受野区域(如下图),其大小取决于卷积网络的设计。

把上面的特征序列送进 BiLSTM,就可以得到一个更高级的特征表示,这样就可以用来预测图片中的文字了。

未对齐的序列标注

也就是上图的 Transcription Layer。

如同我们一开始讲的,字符级的标注是一个很费力的工作。

因此为了解决字符对齐序列的问题,在本文中,作者引入 CTC(Connectionist Temporal Classification)技术来预测文字序列。

CTC 是一种专门用来处理未对齐的序列标注问题的技术,它针对逐帧预测 y={y1,...,yT}y = \{y_1, ..., y_T\} 条件下的标签序列 ll,忽略每个标签所在的位置,这使得它特别适合应用于语音识别、手写文字识别等序列数据。

与传统的序列模型不同,CTC 不需要准确对应每个时间步与具体的字符位置,这大大简化了训练过程。

假定输入为序列 y={y1,...,yT}y = \{y_1, ..., y_T\},其中 TT 为序列长度。每个 yt∈R∣L′∣y_t \in \mathbb{R}^{|L'|} 是标签集合 L′=L∪{blank}L' = L \cup \{\text{blank}\} 上的概率分布,LL 包含任务中的所有标签(如英文字母),而 "blank" 表示空白标签。这个「空白标签」用来表示某个时间步不输出字符,这对于处理不规则的序列长度很有用。

由于模型的逐帧预测可能会在多个时间步上预测出相同的字符或者空白标签,CTC 使用一个映射函数 BB 来将这些冗余部分移除,得到最终的标签序列。具体操作是先移除重复的字符,然后移除 blank 标签。

例如,模型对单词 "hello" 的逐帧输出可能是这样的:

代码
--hh-e-l-ll-oo--

在这里,- 代表 blank 标签,重复的字符会被合并,而 blank 会被移除。经过映射函数 BB 的处理后,这个序列会变为:

代码
hello

CTC 的特点在于,它能够处理这些冗余信息,并将输出序列映射为更简短的标签序列。

在 CTC 中,对于给定的逐帧预测 y={y1,...,yT}y = \{y_1, ..., y_T\},我们想计算某个标签序列 ll 的条件概率。由于存在许多不同的逐帧序列 π\pi 可以被映射到同一个标签序列 ll,CTC 通过将所有这些可能的 π\pi 的概率相加来得到最终的标签序列 ll 的概率:

p(l∣y)=∑π:B(π)=lp(π∣y),p(l | y) = \sum_{\pi : B(\pi) = l} p(\pi | y),

其中每个逐帧序列 π\pi 的概率定义为:

p(π∣y)=∏t=1Tyπtt,p(\pi | y) = \prod_{t=1}^{T} y^t_{\pi_t},

这表示在每个时间步 tt,模型输出为标签 πt\pi_t 的概率。

训练策略

作者使用 Jaderberg 等人发布的合成数据集作为场景文字识别的训练数据:

  • Text Recognition Data:该数据集包含 800 万张训练图像及其对应的标注文字。这些图像由合成引擎生成,逼真度很高。

模型仅用此合成数据训练一次,并直接在所有真实世界测试数据集上进行测试,无需对这些数据集进行微调。

网络配置细节如下:

  • 卷积层的架构基于 VGG 架构,并进行了调整以适应英文字识别。
  • 在第 3 和第 4 个最大池化层中,采用了 w=1,h=2w=1, h=2 的长方形池化窗口,而不是传统的正方形窗口。
  • 在第 5 和第 6 个卷积层后分别插入了两个批量归一化层,这显著加速了训练过程。
  • 使用 ADADELTA 算法进行训练,并将参数 ρ\rho 设置为 0.9。训练时,所有图像被缩放至 100×32100 \times 32 以加速训练过程。
  • 测试图像的高度缩放至 32,宽度则与高度按比例缩放,但至少为 100 像素。

评估指针

作者使用了四个常用的场景文字识别基准数据集来评估模型的性能,分别是:

  1. ICDAR 2003 (IC03)

    • 测试集包含 251 张场景图像,这些图像中带有标记的文字边界框。
    • 为了与先前的工作进行公平比较,通常会忽略包含非字母数字字符或少于三个字符的文字图像。经过过滤后,最终得到 860 张裁剪的文字图像作为测试集。
    • 每张测试图像都配有一个包含 50 个单词的词汇表(词典)。此外,还有一个完整词典,是将所有图像的词汇表合并而成,用于评估。
  2. ICDAR 2013 (IC13)

    • 测试集继承并修正了 IC03 的部分数据,最终包含 1,015 张裁剪的文字图像,并提供了精确的标注。
    • 与 IC03 不同,IC13 没有提供词汇表,因此评估时不使用词典辅助(即无词典设置)。
  3. IIIT 5K-Word (IIIT5k)

    • 测试集包含 3,000 张从网络上收集的裁剪文字图像,涵盖了更广泛的字体和语言变化。
    • 每张图像都附带了两个词汇表:一个包含 50 个单词的小词典和一个包含 1,000 个单词的大词典,用于词典辅助的评估。
  4. Street View Text (SVT)

    • 测试集由 249 张来自 Google 街景的场景图像组成,从中裁剪出 647 张文字图像。
    • 每个文字图像都配有一个包含 50 个单词的词汇表,用于词典辅助的评估。

讨论

模型多方位比较

为了更全面地展示 CRNN 相对于其他方法的优势,作者提供了上述表格:

  • E2E Train:是否支持端到端训练,不需要预处理或分步骤操作。
  • Conv Ftrs:是否使用从训练图像中学习到的卷积特征,而非手工设计的特征。
  • CharGT-Free:是否无需字符级标注即可训练模型。
  • Unconstrained:是否不受特定词典限制,能处理词典外的单词或随机序列。
  • Model Size:模型参数量,而非文件大小。

从表格看来,CRNN 在多个方面都具有优势,例如它支持端到端训练、不需要字符级标注、不受限于特定词典、模型规模小等。

与过去方法比较

上表展示了 CRNN 模型在四个公共数据集上的识别准确率,并与最新的深度学习模型进行了比较。

在受限词典(constrained lexicon)情况下,CRNN 在大多数基准上优于其他方法;相较表中的 Jaderberg et al. [22],它在 IIIT5k 和 SVT 的词典辅助设置较高,但 IC03 的 Full 词典设置较低。

CRNN 的架构不依赖于预定词典,因此原则上可用于随机字符串(例如电话号码)、句子以及其他文字(如中文);本表的实验仍是英文场景文字识别。

在无词典(unconstrained lexicon)情况下,CRNN 在 SVT 数据集上取得表中最佳表现;IC03 与 IC13 则低于部分方法。表中 Jaderberg et al. [22] 标星号的结果仍受 90k 词典限制。

广义拓展

谁说只有文字才有 OCR?

CRNN 不仅可以用于文字识别,还可以应用于其他领域,例如光学音乐识别问题(OMR)。

以往的 OMR 方法通常需要图像预处理(如二值化)、五线谱检测和单独的音符识别。作者将 OMR 转化为序列识别问题,使用 CRNN 直接从图像预测音符序列。

  • 为简化起见,这里仅识别音高,忽略和弦,并假设所有乐谱均为 C 大调。

为了准备 CRNN 所需的训练数据,作者收集了 2650 张来自 musescore 网站的图像:

每张图像是一段包含 3 到 20 个音符的乐谱,且手动标注了这些图像中的音高序列,并使用旋转、缩放、添加噪声等数据增强技术,将训练样本扩充至 265k 张。

为了进行比较,作者评估了两个商业 OMR 引擎:Capella Scan 和 PhotoScore。

这组 OMR 实验改用较小的 CRNN:移除第 4、6 个卷积层,并将双向 LSTM 改为单向 LSTM。上表每格依序是片段完整识别率/平均编辑距离;CRNN 在三组数据上均有较高识别率与较低编辑距离。

Capella Scan 和 PhotoScore 系统在 「Clean」 数据集上的表现相对较好,但在合成数据和真实世界数据上的表现显著下降。

主要原因是这些系统依赖于强健的二值化来检测五线谱和音符,而在合成数据和真实场景中,由于光照条件不佳、噪声干扰和背景杂乱,二值化步骤经常失败。相比之下,CRNN 使用的卷积特征对噪声和变形具有高度稳健性。

此外,CRNN 的循环层可以利用乐谱中的上下文信息,每个音符的识别不仅依赖于它本身,还可以参考邻近的音符。例如,通过比较音符的垂直位置,某些音符可以被更准确地识别。

结论

我们再回头看一下一开始作者的诉求:

  1. 端到端训练:不需要预处理或分步骤操作,直接从图像中学习特征。
  2. 卷积特征:使用从训练图像中学习到的卷积特征,而非手工设计的特征。
  3. 无需字符级标注:不需要字符级标注来训练模型,直接从图像中学习文字序列。
  4. 无限制:不受限于特定词典,能够处理词典外、字符集内的变长文字序列。
  5. 模型规模小:模型存储空间小,运行效率高。

这些 CRNN 都办到了,如此经典的作品,每个做 OCR 的人都值得一读。