An Empirical Study of Scaling Law for OCR
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2401.00028
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitionocrscalinglaw2023,
title = {{An Empirical Study of Scaling Law for OCR}},
author = {Miao Rang and Zhenni Bi and Chuanjian Liu and Yunhe Wang and Kai Han},
year = {2023},
eprint = {2401.00028},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.00028}
}
早在几年前,NLP 领域就有研究者尝试总结模型的缩放律,并整理了几个简单的公式。
时至今日,都已经 2024 年了,怎么就没有一篇论文在 OCR 领域提到这个问题呢?
于是华为的诺亚方舟实验室接下了这个问题。
定义问题
我们首先得确认模型愈大愈好,后续的投入才有价值,毕竟没有意义的事情不会得到投资人的青睐。
在 NLP 领域早在几年前就已经初步探索了这个问题,而且后来又有更多更深入的研究,像是这几篇:
这些研究都是基于 NLP 领域的,而 OCR 领域的研究者似乎对这个问题没有太多的关注。
人们想投入资源,又担心投资的风险,所以这里需要一个研究来解决这个问题。
解决问题
这篇论文中没有新的模型架构,作者制定实验框架,分别从以下几个角度来考察模型的缩放律:
- 模型大小:指模型的参数量,范围从 5000 万到 10 亿。
- 数据集大小:指训练数据集的大小,范围从 100 万到 10 亿样本。
- 计算时间:指训练模型所需的时间,范围从 100 小时到 1000 小时。
这是论文在前言概述的研究范围;下文各项实验使用的模型与数据量仍以对应表格为准。
除此之外,作者引入一个新的数据集:REBU-Syn。这是本篇论文提出的数据集,其中结合真实数据和合成数据,数据从现有的公开数据集中整理而成。
模型规模化
首先要探讨模型尺寸的问题。
这里作者引用过去两篇有名的研究:TrOCR 和 PARSeq。
TrOCR 是基于纯 Transformer 架构的文字识别模型,首次将图像 Transformer 与文本 Transformer 结合,用于 OCR 任务。
为了分析不同模型大小对性能的影响,作者扩展 TrOCR 的模型尺寸,从 TrOCR-S 到 TrOCR-H,模型参数范围从 43.09 百万到 10.37 亿。
- TrOCR-S:Encoder 使用 DeiT,Decoder 使用 MiniLM。
- TrOCR-B:Encoder 使用 BEIT,Decoder 使用 RoBERTa。
- TrOCR-L 与 TrOCR-H:Encoder 使用 BEIT,Decoder 使用 RoBERTa。
PARSeq 使用基于 Transformer 的 Encoder-Decoder 架构。
Encoder 采用 ViT 模型进行图像特征提取,移除 [CLS] token,将所有输出 token 传入 Decoder。Decoder 采用与 preLayerNorm 类似的 Transformer 解码器,注意力头数 。
扩展 PARSeq 模型至四种尺寸以探讨 OCR 领域的大规模模型规律:
- PARSeq-S:基础版本。
- PARSeq-B、PARSeq-L 与 PARSeq-H:逐步扩展模型规模,模型参数范围从 22.51 百万至 6.82 亿,详细配置如下表。
数据规模化
早期的模型训练主要依赖合成数据,但随着真实数据的增加,使用真实数据进行模型训练的效率更高。为了扩大训练数据的规模,作者制作了一个新的数据集:REBU-Syn。其中包含约 600 万个真实数据样本与 1800 万个公开合成数据样本,合成与真实数据的比例为 3:1。
真实数据集包括以下几个部分:
- R 组:包含常用真实数据源,如 COCO-Text、RCTW17、UberText、ArT、LSVT、MLT19、ReCTS、TextOCR 和 OpenVINO。
- E 组:来自常用于文本检测任务的两个真实数据集,Total Text 和 CTW1500,补入不同来源的真实数据。
- B 组:包含基准数据来源的训练数据,例如 IIIT 5k-word、Street View Text、ICDAR13 和 ICDAR15。
- U 组:来自包含约 400 万张标注图像的 Union14M-L;本文汇整后使用约 310 万张。
公开合成数据集包括以下几个部分:
- 常用数据集:
- MJSynth (MJ):890 万笔数据。
- SynthText (ST):550 万笔数据。
- 额外合成数据:
- Curved SyntheText (CST):针对弯曲文本检测的数据。
- SyntheAdd (SA):生成包含稀有字符(如标点符号)的数据。
除了公开的合成数据集之外,作者使用两种工具:TextRecognitionDataGenerator 与 SynthText 制作了更多的合成数据。
语料来源是从全球使用最广泛的英语语料网站中取得的 70 万笔语料,合成数据的背景选择了 SynthText 提供的自然场景图片。
实验设置
根据不同的模型架构,作者设置了不同的超参数:
- TrOCR 模型:
- TrOCR-S:批量大小 ,学习率 。
- TrOCR-B:批量大小 ,学习率 。
- TrOCR-L:批量大小 ,学习率 。
- PARSeq 模型:
- 使用一致的学习率 ,批量大小尽可能接近 。
文本分词工具采用 BPE (Byte Pair Encoding) [68] 与 SentencePiece [37] 将文本行切分为子词单元。
主要评估指标为单词准确率,并统一将最终输出字符串标准化为常用的 字符集(小写字母与数字),以确保不同模型与数据集间的公平比较。
讨论
以下以六个测试集的平均单词错误率 观察三个变量:
- 模型参数数量 :模型的复杂度与容量。
- 训练数据量 :可用于训练的数据规模。
- 模型计算量 :此处的实验以训练时间表示,图 2(c) 标示为 8 张 GPU 的训练小时数。
实验目标是描述平均单词错误率 与 、、 的幂律关系,并观察错误率是否随资源投入平滑下降。
模型大小的幂律关系
-
TrOCR 模型:
参数数量 与平均单词错误率 的拟合公式如下:
基于前三个模型(TrOCR-S、TrOCR-B 和 TrOCR-L)拟合幂律公式。最后一个模型(TrOCR-H)的结果也接近拟合直线;这支持论文在测试范围内的观察。
-
PARSeq 模型:
与 TrOCR 相似,PARSeq 的参数数量 与平均单词错误率 的拟合公式为:
数据量的幂律关系
-
TrOCR 模型:
表 6 比较 TrOCR-B 在 75 万至 7500 万笔训练数据下的单词准确率。原论文对错误率 印出的拟合公式如下:
表中的平均准确率由 50.35% 提升至 93.09%。但原论文的公式使用负指数,照式计算反而会让错误率随 增加而上升,与图 2(b) 的下降曲线和表 6 不符;这里不能直接拿该式推算性能。
-
PARSeq 模型:
表 7 随 R、B、E、U 与合成数据逐步加入,平均准确率从 95.57% 提升至 96.85%。数据源与数据量同时改变,因此不能单凭此表分离数据量的效果。
计算资源的幂律关系
图 2(c) 比较不同训练时间下的平均单词错误率。原论文的式 (4) 印为:
图中的灰色拟合线随训练时间增加而下降,但式 (4) 的负指数对 会给出相反趋势;图例另标为 ,与式 (4) 的 也不一致。此处只能依图判读实验趋势,不能把印出的式 (4) 当作可靠的预测公式。
合成与真实数据比例
真实数据在训练效率上通常优于合成数据,但由于成本高昂且数量有限,合成数据仍不可或缺。
为此,作者固定真实数据量,逐步增加合成数据比例(从 0.5 至 5 倍),观察模型精度的变化,如上表。
结果显示,当真实数据与合成数据比例为 1:3 时,模型精度在表 9 的测试比例中最高,为 96.85%。合成数据继续增加至 4 倍与 5 倍时,精度下降;作者推测可能是数据分布过于偏向合成数据。
预训练之必要性
对于预训练模型到底能不能提升 OCR 的性能,过去的研究结果并不一致。
作者在论文中对比了使用 ImageNet-21k 预训练的模型与从零开始训练的模型在 OCR 任务中的性能。
表 10 中,使用 ImageNet-21k 预训练的 PARSeq-L 平均准确率为 96.74%,低于相同训练数据下从零开始训练的 97.03%。作者也提到 CLIP4STR 有类似观察,但这张表没有列出其对照数值;这些结果显示,非 OCR 任务的预训练未必能提升此处的辨识表现。
如果是使用基于 OCR 任务的预训练模型,此处则观察到小幅提升。例如,使用 REBU-Syn 数据集训练的 PARSeq-S 模型,精度达 96.85%,高于仅使用真实数据 REBU 训练的 96.12%。进一步用真实数据 REBU 微调上述模型,表 10 列出的精度为 96.96%;论文正文另写 97.01%,与表格不一致。
基于实验结果,作者建议最佳实践是:
- 先在包含合成与真实数据的完整数据集上训练模型
- 再以真实数据进行微调,进一步提升精度。
与其他模型的比较
最后作者重新训练了 CLIP4STR,采用 3:1 的合成与真实数据比例,并使用任务相关的预训练模型进行微调。
表 11 中,CLIP4STR-B 原报告列为 96.89%,本文以 REBU-Syn 训练后为 97.25%,相差 0.36 个百分点;两列训练数据不同,不能只把差距归因于预训练或数据比例。CLIP4STR-L 模型在 6 个常用测试基准 上取得 97.42% 的样本加权平均单词准确率,是表中最高的平均值。
结论
本研究在测试范围内观察到「模型规模」、「数据量」和「计算资源」与模型性能之间的幂律关系;随着资源增加,性能通常提升,但数据量与计算时间的印刷公式存在上文指出的不一致。
在训练阶段,作者建议使用真实数据与合成数据比例为 1:3,以获得最佳性能。此外,作者观察到使用「与任务相关」的预训练模型可以提升这里的模型性能。