Why You Should Try the Real Data for the Scene Text Recognition
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2107.13938
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitionyatr2021,
title = {{Why You Should Try the Real Data for the Scene Text Recognition}},
author = {Vladimir Loginov},
year = {2021},
eprint = {2107.13938},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2107.13938}
}
在 STR 领域,绝大多数的模型都是从合成数据开始的。
标准的做法是先使用合成数据进行预训练,接着可以选择直接在验证数据集上进行评估。或是用小规模的真实数据进行微调后再进行评估。
定义问题
我们都不会否认真实数据的重要性,因为合成数据必须基于某些特定的生成规则,可能是选择某些字型,噪音的添加,或是背景的选择。
凡有规则必有例外,这些例外可能是合成数据无法涵盖的,这些例外可能会对模型的泛化能力造成影响。而且对于真实世界来说,合成数据才是例外,真实数据才是规则。
用例外来拟合规则,然后跟你说这种模型有很好的泛化能力,你敢信?
这篇论文的作者认为合成数据和真实数据互相结合才是最好的训练数据。
解决问题
模型架构
作者架构参考了 WWWSTR 的方法:
但不再将最后两个阶段分开,文字辨识的最后阶段包含序列建模与最终预测。
图像校正部分使用 ASTER 中的 Thin Plate Spline (TPS) 技术:
TPS 的空间变换机制分为三部分:
- 定位网络:首先对输入图像生成空间变换参数。
- 网格生成器:根据预测参数生成一组取样网格点,用以标示输入图像应被取样的位置。
- 取样器:利用网格和输入图像生成最终的输出图像。
TPS 设计的优势在于不需要逐字母的标注,因此可以在多种文字辨识架构中直接使用,且其参数可通过端到端方式学习。
Backbone 的部分采用 ImageNet 预训练的 ResNeXt-101,但移除最后一个阶段;作者选这个配置,是因为实验中的准确率与效能取舍较好。
最后是文字辨识头,使用二维注意力图搭配 GRU 作为解码器。
讨论
真实数据的重要性
作者使用了合成数据集和真实数据集进行训练,所有实验在相同条件下进行:ResNeXt-101 作为主干网络,不区分大小写的训练和测试模式,并且本次实验没有使用 TPS 模组。
结果如上表,在这组不使用 TPS 的实验中,MJSynth 搭配 OpenImagesV5 在六个测试集都高于仅用合成数据。若只用 OpenImagesV5,成绩比这个混合组合低,但仍高于仅用 MJSynth。作者推测真实数据更具挑战性,可能需要更长的训练周期;这是可能原因,表格本身没有验证训练时长。
这张表中最好的实验表现是 MJSynth + OpenImagesV5,也是作者在本文采用的训练数据组合。
拿 ViTSTR 试试看
为了验证真实数据的重要性,作者使用了 ViTSTR 进行实验,ViTSTR 是一种基于 Transformer 的文字辨识模型。
这篇文章我们也有提到,可以参考:
作者使用了合成数据集和真实数据集进行训练,结果如下表:
从实验结果可以看到,在两个 ViTSTR-Tiny 模型都使用数据增强、相同测试条件下,将训练批次的 20% 换成 OpenImagesV5 后,六个测试集的准确率都有提升;IC03 是 93.7→95.6(+1.9 个百分点),IC15 是 66.6→77.0(+10.4 个百分点),并非每个数据集都约提升 5%。这组比较显示,即使基线已使用图像增强,加入真实数据仍有帮助。
结论
使用合成数据搭配真实数据,可以提升文字辨识模型的泛化能力。
你可能认为这是一个常识,不需要再另外写一篇论文来证明。但我们并无法得知:「到底影响有多大?」
以后如果有人再问你:「为什么要用真实数据?具体差距是多少?」,我们认为这篇论文可以直接用来回答这个问题。