返回论文笔记资料库
arXiv 2023文本识别论文笔记

OCR Scaling Law

OCR 的模型缩放律

原始论文

An Empirical Study of Scaling Law for OCR

论文作者

Miao Rang · Zhenni Bi · Chuanjian Liu · Yunhe Wang · Kai Han

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2401.00028
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionocrscalinglaw2023,
  title = {{An Empirical Study of Scaling Law for OCR}},
  author = {Miao Rang and Zhenni Bi and Chuanjian Liu and Yunhe Wang and Kai Han},
  year = {2023},
  eprint = {2401.00028},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.00028}
}
本页内容

早在几年前,NLP 领域就有研究者尝试总结模型的缩放律,并整理了几个简单的公式。

时至今日,都已经 2024 年了,怎么就没有一篇论文在 OCR 领域提到这个问题呢?

于是华为的诺亚方舟实验室接下了这个问题。

定义问题

我们首先得确认模型愈大愈好,后续的投入才有价值,毕竟没有意义的事情不会得到投资人的青睐。

在 NLP 领域早在几年前就已经初步探索了这个问题,而且后来又有更多更深入的研究,像是这几篇:

这些研究都是基于 NLP 领域的,而 OCR 领域的研究者似乎对这个问题没有太多的关注。

人们想投入资源,又担心投资的风险,所以这里需要一个研究来解决这个问题。

解决问题

这篇论文中没有新的模型架构,作者制定实验框架,分别从以下几个角度来考察模型的缩放律:

  1. 模型大小:指模型的参数量,范围从 5000 万到 10 亿。
  2. 数据集大小:指训练数据集的大小,范围从 100 万到 10 亿样本。
  3. 计算时间:指训练模型所需的时间,范围从 100 小时到 1000 小时。

这是论文在前言概述的研究范围;下文各项实验使用的模型与数据量仍以对应表格为准。

除此之外,作者引入一个新的数据集:REBU-Syn。这是本篇论文提出的数据集,其中结合真实数据和合成数据,数据从现有的公开数据集中整理而成。

模型规模化

首先要探讨模型尺寸的问题。

这里作者引用过去两篇有名的研究:TrOCR 和 PARSeq。

TrOCR 是基于纯 Transformer 架构的文字识别模型,首次将图像 Transformer 与文本 Transformer 结合,用于 OCR 任务。

为了分析不同模型大小对性能的影响,作者扩展 TrOCR 的模型尺寸,从 TrOCR-S 到 TrOCR-H,模型参数范围从 43.09 百万到 10.37 亿。

  • TrOCR-S:Encoder 使用 DeiTSMALL_\text{SMALL},Decoder 使用 MiniLM。
  • TrOCR-B:Encoder 使用 BEITBASE_\text{BASE},Decoder 使用 RoBERTaLARGE_\text{LARGE}。
  • TrOCR-L 与 TrOCR-H:Encoder 使用 BEITLARGE_\text{LARGE},Decoder 使用 RoBERTaLARGE_\text{LARGE}。

PARSeq 使用基于 Transformer 的 Encoder-Decoder 架构。

Encoder 采用 ViT 模型进行图像特征提取,移除 [CLS] token,将所有输出 token 传入 Decoder。Decoder 采用与 preLayerNorm 类似的 Transformer 解码器,注意力头数 nhead=dmodel32nhead = \frac{d_{model}}{32}。

扩展 PARSeq 模型至四种尺寸以探讨 OCR 领域的大规模模型规律:

  • PARSeq-S:基础版本。
  • PARSeq-B、PARSeq-L 与 PARSeq-H:逐步扩展模型规模,模型参数范围从 22.51 百万至 6.82 亿,详细配置如下表。

数据规模化

早期的模型训练主要依赖合成数据,但随着真实数据的增加,使用真实数据进行模型训练的效率更高。为了扩大训练数据的规模,作者制作了一个新的数据集:REBU-Syn。其中包含约 600 万个真实数据样本与 1800 万个公开合成数据样本,合成与真实数据的比例为 3:1。

真实数据集包括以下几个部分:

  • R 组:包含常用真实数据源,如 COCO-Text、RCTW17、UberText、ArT、LSVT、MLT19、ReCTS、TextOCR 和 OpenVINO。
  • E 组:来自常用于文本检测任务的两个真实数据集,Total Text 和 CTW1500,补入不同来源的真实数据。
  • B 组:包含基准数据来源的训练数据,例如 IIIT 5k-word、Street View Text、ICDAR13 和 ICDAR15。
  • U 组:来自包含约 400 万张标注图像的 Union14M-L;本文汇整后使用约 310 万张。

公开合成数据集包括以下几个部分:

  • 常用数据集:
    • MJSynth (MJ):890 万笔数据。
    • SynthText (ST):550 万笔数据。
  • 额外合成数据:
    • Curved SyntheText (CST):针对弯曲文本检测的数据。
    • SyntheAdd (SA):生成包含稀有字符(如标点符号)的数据。

除了公开的合成数据集之外,作者使用两种工具:TextRecognitionDataGenerator 与 SynthText 制作了更多的合成数据。

语料来源是从全球使用最广泛的英语语料网站中取得的 70 万笔语料,合成数据的背景选择了 SynthText 提供的自然场景图片。

实验设置

根据不同的模型架构,作者设置了不同的超参数:

  • TrOCR 模型:
    • TrOCR-S:批量大小 10241024,学习率 4×10−44 \times 10^{-4}。
    • TrOCR-B:批量大小 256256,学习率 1×10−41 \times 10^{-4}。
    • TrOCR-L:批量大小 128128,学习率 4×10−54 \times 10^{-5}。
  • PARSeq 模型:
    • 使用一致的学习率 7×10−47 \times 10^{-4},批量大小尽可能接近 10241024。

文本分词工具采用 BPE (Byte Pair Encoding) [68] 与 SentencePiece [37] 将文本行切分为子词单元。

主要评估指标为单词准确率,并统一将最终输出字符串标准化为常用的 3636 字符集(小写字母与数字),以确保不同模型与数据集间的公平比较。

讨论

以下以六个测试集的平均单词错误率 EE 观察三个变量:

  • 模型参数数量 NN:模型的复杂度与容量。
  • 训练数据量 DD:可用于训练的数据规模。
  • 模型计算量 CC:此处的实验以训练时间表示,图 2(c) 标示为 8 张 GPU 的训练小时数。

实验目标是描述平均单词错误率 EE 与 NN、DD、CC 的幂律关系,并观察错误率是否随资源投入平滑下降。

模型大小的幂律关系

  • TrOCR 模型:

    参数数量 NN 与平均单词错误率 EE 的拟合公式如下:

    E(N)=(1.97×104N)0.223E(N) = \left(\frac{1.97 \times 10^4}{N}\right)^{0.223}

    基于前三个模型(TrOCR-S、TrOCR-B 和 TrOCR-L)拟合幂律公式。最后一个模型(TrOCR-H)的结果也接近拟合直线;这支持论文在测试范围内的观察。

  • PARSeq 模型:

    与 TrOCR 相似,PARSeq 的参数数量 NN 与平均单词错误率 EE 的拟合公式为:

    E(N)=(6.316×10−74N)0.018E(N) = \left(\frac{6.316 \times 10^{-74}}{N}\right)^{0.018}

数据量的幂律关系

  • TrOCR 模型:

    表 6 比较 TrOCR-B 在 75 万至 7500 万笔训练数据下的单词准确率。原论文对错误率 EE 印出的拟合公式如下:

    E(D)=(1.84×105D)−0.3271E(D) = \left(\frac{1.84 \times 10^5}{D}\right)^{-0.3271}

    表中的平均准确率由 50.35% 提升至 93.09%。但原论文的公式使用负指数,照式计算反而会让错误率随 DD 增加而上升,与图 2(b) 的下降曲线和表 6 不符;这里不能直接拿该式推算性能。

  • PARSeq 模型:

    表 7 随 R、B、E、U 与合成数据逐步加入,平均准确率从 95.57% 提升至 96.85%。数据源与数据量同时改变,因此不能单凭此表分离数据量的效果。

计算资源的幂律关系

图 2(c) 比较不同训练时间下的平均单词错误率。原论文的式 (4) 印为:

E(C)=(4.45×104C)−0.3271E(C) = \left(\frac{4.45 \times 10^4}{C}\right)^{-0.3271}

图中的灰色拟合线随训练时间增加而下降,但式 (4) 的负指数对 CC 会给出相反趋势;图例另标为 −0.764-0.764,与式 (4) 的 −0.3271-0.3271 也不一致。此处只能依图判读实验趋势,不能把印出的式 (4) 当作可靠的预测公式。

合成与真实数据比例

真实数据在训练效率上通常优于合成数据,但由于成本高昂且数量有限,合成数据仍不可或缺。

为此,作者固定真实数据量,逐步增加合成数据比例(从 0.5 至 5 倍),观察模型精度的变化,如上表。

结果显示,当真实数据与合成数据比例为 1:3 时,模型精度在表 9 的测试比例中最高,为 96.85%。合成数据继续增加至 4 倍与 5 倍时,精度下降;作者推测可能是数据分布过于偏向合成数据。

预训练之必要性

对于预训练模型到底能不能提升 OCR 的性能,过去的研究结果并不一致。

作者在论文中对比了使用 ImageNet-21k 预训练的模型与从零开始训练的模型在 OCR 任务中的性能。

表 10 中,使用 ImageNet-21k 预训练的 PARSeq-L 平均准确率为 96.74%,低于相同训练数据下从零开始训练的 97.03%。作者也提到 CLIP4STR 有类似观察,但这张表没有列出其对照数值;这些结果显示,非 OCR 任务的预训练未必能提升此处的辨识表现。

如果是使用基于 OCR 任务的预训练模型,此处则观察到小幅提升。例如,使用 REBU-Syn 数据集训练的 PARSeq-S 模型,精度达 96.85%,高于仅使用真实数据 REBU 训练的 96.12%。进一步用真实数据 REBU 微调上述模型,表 10 列出的精度为 96.96%;论文正文另写 97.01%,与表格不一致。

基于实验结果,作者建议最佳实践是:

  1. 先在包含合成与真实数据的完整数据集上训练模型
  2. 再以真实数据进行微调,进一步提升精度。

与其他模型的比较

最后作者重新训练了 CLIP4STR,采用 3:1 的合成与真实数据比例,并使用任务相关的预训练模型进行微调。

表 11 中,CLIP4STR-B 原报告列为 96.89%,本文以 REBU-Syn 训练后为 97.25%,相差 0.36 个百分点;两列训练数据不同,不能只把差距归因于预训练或数据比例。CLIP4STR-L 模型在 6 个常用测试基准 上取得 97.42% 的样本加权平均单词准确率,是表中最高的平均值。

结论

本研究在测试范围内观察到「模型规模」、「数据量」和「计算资源」与模型性能之间的幂律关系;随着资源增加,性能通常提升,但数据量与计算时间的印刷公式存在上文指出的不一致。

在训练阶段,作者建议使用真实数据与合成数据比例为 1:3,以获得最佳性能。此外,作者观察到使用「与任务相关」的预训练模型可以提升这里的模型性能。