返回论文笔记资料库
arXiv 2021AAAI 2023文本识别论文笔记

TrOCR

预训练就是正义

原始论文

TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

论文作者

Minghao Li · Tengchao Lv · Jingye Chen …

查看全部 9 位作者

Minghao Li · Tengchao Lv · Jingye Chen · Lei Cui · Yijuan Lu · Dinei Florencio · Cha Zhang · Zhoujun Li · Furu Wei

发表版本
AAAI 2023会议
arXiv 首次提交
arXiv:2109.10282
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitiontrocr2021,
  title = {{TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}},
  author = {Minghao Li and Tengchao Lv and Jingye Chen and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
  year = {2021},
  eprint = {2109.10282},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2109.10282}
}
本页内容

这是一篇简单明了的论文,如果你是刚接触这个领域的开发者,不妨从这篇论文开始。

定义问题

大部分现有方法仍然以 CNN 作为主干,并通过加入 Transformer 的自注意力机制来提升文字图像的理解能力。为了提高识别准确率,既有方法还会采用连接时序分类(CTC)解码,或结合外部语言模型。

这些方法虽然取得一定成效,但多数现有模型的网络参数从头训练,未充分利用大规模预训练的 CV(计算机视觉)和 NLP(自然语言处理)模型。

因此,这篇论文的作者以身作则,告诉我们应该如何使用预训练模型来完成 OCR 任务。

解决问题

模型架构

TrOCR 模型由图像和文字 Transformer 两部分组成。

和传统文字识别模型不同,作者在这里不使用 CNN 主干,而是遵循 ViT 的方式,将输入图像调整为 384×384384 \times 384 并分割成 16×1616 \times 16 的小块,然后输入图像编码器。这里的编码器和解码器都基于标准 Transformer 架构,以 wordpiece 为单位输出识别出的文字。

在训练过程中,图像编码器从 ViT 风格的预训练模型初始化,实验使用 DeiT 或 BEiT。解码器则利用 RoBERTa 或 MiniLM 预训练权重初始化;预训练模型原本没有的编码器—解码器交叉注意力参数仍须随机初始化。

训练策略

  • 第一阶段

    预训练第一阶段,从公开的 PDF 文件中随机抽样 200 万页文档,将这些 PDF 转换为页面图像,并提取每行文字生成 684M 条文字行图像。由于这些 PDF 是「数字生成」,确保了文字图像的清晰度。

  • 第二阶段

    使用开源的文字生成器 TRDG 和 5,427 种手写字体合成手写文字行图像,文字内容则来自随机抓取的 Wikipedia 页面。此阶段手写文字数据集包含 17.9M 条文字行,其中也包含 IIIT-HWS 数据集。

    此外,作者额外收集了约 53K 张收据图像,使用商用 OCR 引擎识别其文字,并根据文字位置裁切并归一化图像。

    最后使用 TRDG 生成约 100 万条带有收据字体和内置字体的印刷文字行图像,最终印刷数据集共包含 3.3M 条文字行。

    如果是场景文字的话,则第二阶段使用 MJSynth 和 SynthText 数据集,合计约 16M 张文字图像。

参数设置

TrOCR 的视觉分支使用 DeiT 和 BEiT 模型,文字分支使用 RoBERTa 或 MiniLM 模型。

其中 DeiT 模型由 timm 套件提供代码和预训练模型;BEiT 和 MiniLM 模型则来自 UniLM 官方库;RoBERTa 模型来自 Fairseq 的 GitHub 资源页。

训练时使用 32 张 V100 GPU 进行预训练,8 张 V100 GPU 进行微调。所有模型的批次大小设为 2,048,学习率设为 5×10−55 \times 10^{-5}。

最后是一些详细参数:

  • 分辨率与图像块大小:DeiT 和 BEiT 编码器使用 384×384384 \times 384 的图像分辨率,图像块大小为 16×1616 \times 16。
  • 编码器结构:
    • DeiTSMALL\text{DeiT}_{\text{SMALL}}: 12 层,384 维隐藏层,6 个注意力头。
    • DeiTBASE\text{DeiT}_{\text{BASE}} 和 BEiTBASE\text{BEiT}_{\text{BASE}}: 12 层,768 维隐藏层,12 个注意力头。
    • BEiTLARGE\text{BEiT}_{\text{LARGE}}: 24 层,1024 维隐藏层,16 个注意力头。
  • 解码器结构:
    • 小型解码器:6 层,256 维隐藏层,8 个注意力头。
    • 基础解码器:512 维隐藏层。
    • 大型解码器:12 层,1024 维隐藏层,16 个注意力头。

讨论

编码器与解码器组合

既然我们有一堆编码器和解码器可以选择,那么哪一组合最好呢?

作者在这边做了一些实验,比较了不同编码器和解码器的组合,实验基于 SROIE 数据集,结果如下表:

编码器方面,测试了 DeiT、BEiT 及 ResNet-50;解码器方面使用 RoBERTa。

在这组只用 SROIE 训练的架构比较中,BEiTBASE_{\text{BASE}} 搭配 RoBERTaLARGE_{\text{LARGE}} 的 F1 分数最高,为 79.36%;预训练初始化与两阶段预训练各自带来的增益,需看论文另外的消融表。

根据这个结果,作者选用三种主要配置进行后续实验:

  • TrOCRSMALL_{\text{SMALL}}:包含 DeiTSMALL_{\text{SMALL}} 编码器和 MiniLM 解码器(62M 参数)。
  • TrOCRBASE_{\text{BASE}}:包含 BEiTBASE_{\text{BASE}} 编码器和 RoBERTaLARGE_{\text{LARGE}} 解码器(334M 参数)。
  • TrOCRLARGE_{\text{LARGE}}:包含 BEiTLARGE_{\text{LARGE}} 编码器和 RoBERTaLARGE_{\text{LARGE}} 解码器(558M 参数)。

SROIE 性能比较

上表展示了 TrOCR 模型与 SROIE 数据集上的 SOTA 模型的比较结果。这里评估的是依真实边界框裁出的文字行图像,不包含文字检测。

在语言建模上,MSO Lab 和 CLOVA OCR 使用 LSTM 层,H&H Lab 使用 GRU 层,而 TrOCR 模型则使用纯注意力机制的 Transformer 解码器。

TrOCRLARGE_{\text{LARGE}} 在这项文字行识别任务的 F1 分数为 96.58%,高于表中 H&H Lab 的 96.43%;模型不需要额外的复杂识别后处理。

IAM 性能比较

上表展示了 TrOCR 模型与 IAM 手写数据库上的现有方法的比较结果。

根据结果,Diaz 等人的 CTC 模型加入外部语言模型(LM)后,CER 从 3.53% 降至 2.75%。TrOCRLARGE_{\text{LARGE}} 不用外部 LM 的 CER 为 2.89%,低于表中 Bluche 和 Messina 的 CTC 模型(3.20%),但仍高于 Diaz 等人使用额外内部数据及 LM 的结果;各方法的训练数据也不同。

STR 性能比较

TrOCR 模型在仅用合成数据进行微调,及使用合成数据与基准数据集(IC13、IC15、IIIT5K、SVT 训练集)共同进行微调的情况下的性能,并与现有主流和最新的 SOTA 方法进行比较。

在表中的八个测试字段,使用合成与基准训练集微调的 TrOCR 在 SVT、IC13 两种测试集、SVTP 和 CUTE 五栏取得最高结果;IIIT5K 以及 IC15 的两个测试字段则未领先。

结论

TrOCR 和过去许多研究不同的地方是:预训练模型的使用。

作者充分地利用预训练模型的优势,避免了传统 CNN 架构的依赖,减少了模型的复杂性,并提升了计算效率。实验结果表明,仅凭简单的编码器-解码器架构,TrOCR 即能在多种 OCR 任务上获得先进水平,展示了预训练 Transformer 模型在 OCR 应用中的潜力与有效性。