TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
- 发表版本
- AAAI 2023会议
- arXiv 首次提交
- arXiv:2109.10282
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitiontrocr2021,
title = {{TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}},
author = {Minghao Li and Tengchao Lv and Jingye Chen and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
year = {2021},
eprint = {2109.10282},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2109.10282}
}
这是一篇简单明了的论文,如果你是刚接触这个领域的开发者,不妨从这篇论文开始。
定义问题
大部分现有方法仍然以 CNN 作为主干,并通过加入 Transformer 的自注意力机制来提升文字图像的理解能力。为了提高识别准确率,既有方法还会采用连接时序分类(CTC)解码,或结合外部语言模型。
这些方法虽然取得一定成效,但多数现有模型的网络参数从头训练,未充分利用大规模预训练的 CV(计算机视觉)和 NLP(自然语言处理)模型。
因此,这篇论文的作者以身作则,告诉我们应该如何使用预训练模型来完成 OCR 任务。
解决问题
模型架构
TrOCR 模型由图像和文字 Transformer 两部分组成。
和传统文字识别模型不同,作者在这里不使用 CNN 主干,而是遵循 ViT 的方式,将输入图像调整为 并分割成 的小块,然后输入图像编码器。这里的编码器和解码器都基于标准 Transformer 架构,以 wordpiece 为单位输出识别出的文字。
在训练过程中,图像编码器从 ViT 风格的预训练模型初始化,实验使用 DeiT 或 BEiT。解码器则利用 RoBERTa 或 MiniLM 预训练权重初始化;预训练模型原本没有的编码器—解码器交叉注意力参数仍须随机初始化。
训练策略
-
第一阶段
预训练第一阶段,从公开的 PDF 文件中随机抽样 200 万页文档,将这些 PDF 转换为页面图像,并提取每行文字生成 684M 条文字行图像。由于这些 PDF 是「数字生成」,确保了文字图像的清晰度。
-
第二阶段
使用开源的文字生成器 TRDG 和 5,427 种手写字体合成手写文字行图像,文字内容则来自随机抓取的 Wikipedia 页面。此阶段手写文字数据集包含 17.9M 条文字行,其中也包含 IIIT-HWS 数据集。
此外,作者额外收集了约 53K 张收据图像,使用商用 OCR 引擎识别其文字,并根据文字位置裁切并归一化图像。
最后使用 TRDG 生成约 100 万条带有收据字体和内置字体的印刷文字行图像,最终印刷数据集共包含 3.3M 条文字行。
如果是场景文字的话,则第二阶段使用 MJSynth 和 SynthText 数据集,合计约 16M 张文字图像。
参数设置
TrOCR 的视觉分支使用 DeiT 和 BEiT 模型,文字分支使用 RoBERTa 或 MiniLM 模型。
其中 DeiT 模型由 timm 套件提供代码和预训练模型;BEiT 和 MiniLM 模型则来自 UniLM 官方库;RoBERTa 模型来自 Fairseq 的 GitHub 资源页。
训练时使用 32 张 V100 GPU 进行预训练,8 张 V100 GPU 进行微调。所有模型的批次大小设为 2,048,学习率设为 。
最后是一些详细参数:
- 分辨率与图像块大小:DeiT 和 BEiT 编码器使用 的图像分辨率,图像块大小为 。
- 编码器结构:
- : 12 层,384 维隐藏层,6 个注意力头。
- 和 : 12 层,768 维隐藏层,12 个注意力头。
- : 24 层,1024 维隐藏层,16 个注意力头。
- 解码器结构:
- 小型解码器:6 层,256 维隐藏层,8 个注意力头。
- 基础解码器:512 维隐藏层。
- 大型解码器:12 层,1024 维隐藏层,16 个注意力头。
讨论
编码器与解码器组合
既然我们有一堆编码器和解码器可以选择,那么哪一组合最好呢?
作者在这边做了一些实验,比较了不同编码器和解码器的组合,实验基于 SROIE 数据集,结果如下表:
编码器方面,测试了 DeiT、BEiT 及 ResNet-50;解码器方面使用 RoBERTa。
在这组只用 SROIE 训练的架构比较中,BEiT 搭配 RoBERTa 的 F1 分数最高,为 79.36%;预训练初始化与两阶段预训练各自带来的增益,需看论文另外的消融表。
根据这个结果,作者选用三种主要配置进行后续实验:
- TrOCR:包含 DeiT 编码器和 MiniLM 解码器(62M 参数)。
- TrOCR:包含 BEiT 编码器和 RoBERTa 解码器(334M 参数)。
- TrOCR:包含 BEiT 编码器和 RoBERTa 解码器(558M 参数)。
SROIE 性能比较
上表展示了 TrOCR 模型与 SROIE 数据集上的 SOTA 模型的比较结果。这里评估的是依真实边界框裁出的文字行图像,不包含文字检测。
在语言建模上,MSO Lab 和 CLOVA OCR 使用 LSTM 层,H&H Lab 使用 GRU 层,而 TrOCR 模型则使用纯注意力机制的 Transformer 解码器。
TrOCR 在这项文字行识别任务的 F1 分数为 96.58%,高于表中 H&H Lab 的 96.43%;模型不需要额外的复杂识别后处理。
IAM 性能比较
上表展示了 TrOCR 模型与 IAM 手写数据库上的现有方法的比较结果。
根据结果,Diaz 等人的 CTC 模型加入外部语言模型(LM)后,CER 从 3.53% 降至 2.75%。TrOCR 不用外部 LM 的 CER 为 2.89%,低于表中 Bluche 和 Messina 的 CTC 模型(3.20%),但仍高于 Diaz 等人使用额外内部数据及 LM 的结果;各方法的训练数据也不同。
STR 性能比较
TrOCR 模型在仅用合成数据进行微调,及使用合成数据与基准数据集(IC13、IC15、IIIT5K、SVT 训练集)共同进行微调的情况下的性能,并与现有主流和最新的 SOTA 方法进行比较。
在表中的八个测试字段,使用合成与基准训练集微调的 TrOCR 在 SVT、IC13 两种测试集、SVTP 和 CUTE 五栏取得最高结果;IIIT5K 以及 IC15 的两个测试字段则未领先。
结论
TrOCR 和过去许多研究不同的地方是:预训练模型的使用。
作者充分地利用预训练模型的优势,避免了传统 CNN 架构的依赖,减少了模型的复杂性,并提升了计算效率。实验结果表明,仅凭简单的编码器-解码器架构,TrOCR 即能在多种 OCR 任务上获得先进水平,展示了预训练 Transformer 模型在 OCR 应用中的潜力与有效性。