返回论文笔记资料库
arXiv 2019ICCV 2019文本识别论文笔记

WWWSTR

数据与模型分析

原始论文

What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis

论文作者

Jeonghun Baek · Geewook Kim · Junyeop Lee …

查看全部 8 位作者

Jeonghun Baek · Geewook Kim · Junyeop Lee · Sungrae Park · Dongyoon Han · Sangdoo Yun · Seong Joon Oh · Hwalsuk Lee

发表版本
ICCV 2019会议
arXiv 首次提交
arXiv:1904.01906
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionwwwstr2019,
  title = {{What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis}},
  author = {Jeonghun Baek and Geewook Kim and Junyeop Lee and Sungrae Park and Dongyoon Han and Sangdoo Yun and Seong Joon Oh and Hwalsuk Lee},
  year = {2019},
  eprint = {1904.01906},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1904.01906}
}
本页内容

这篇是 Clova AI 发表的论文,其中没有提出新技术,而是对现有的演算法和数据集进行了一个全面的分析和不同模块间的排列组合,借此探索潜在的最优解。

数据集分析

不同研究采用了不同的数据集组合进行训练,这可能会导致性能提升的原因不清楚,无法确定是因为提出的新模型贡献?还是因为使用了更好的或更大的数据集?

这样的数据集不一致性会影响结果的公正性。

训练数据集

由于标注场景文字图像的成本高,难以获得充足的标注数据,大多数 STR 模型选择使用合成数据集进行训练。

以下介绍两个在 STR 研究中常用的合成数据集:

  • MJSynth(MJ)

    MJSynth 是专为 STR 设计的合成数据集,包含 890 万个单词框图像。其生成过程包括:字体渲染、边框与阴影渲染、背景上色、字体与背景的合成、应用透视变形、与真实图像混合、以及添加噪声。

  • SynthText(ST)

    SynthText 原本是为场景文字检测设计的合成数据集,但也被用于 STR 研究。研究人员通过裁剪单词框,并过滤含非英数字符的样本,将其用于 STR 训练;处理后约有 550 万张训练图像。

测试数据集

不同版本的基准数据集存在一定程度的差异。

例如:在 IC03 中,7 个样本的差异可能导致 0.8 个百分点的准确率差距,这在比较先前研究的结果时是一个巨大的差距。

而在 IC13 和 IC15 中的样本数差距甚至比 IC03 更大。

七个真实场景的 STR 数据集广泛用于训练后的模型评估,这些数据集根据文字的难度和几何布局可分为「规则数据集」和「不规则数据集」:

  • 规则数据集:包含水平排列且字符之间间距均匀的文字图像,这类数据集相对容易处理:

    • IIIT5K-Words (IIIT):来自 Google 图像搜寻的数据集,包含 2,000 张训练图像和 3,000 张评估图像。
    • Street View Text (SVT):从 Google Street View 收集的户外街景图像,其中一些图像有噪声、模糊或低分辨率,包含 257 张训练图像和 647 张评估图像。
    • ICDAR2003 (IC03):用于 ICDAR 2003 稳健阅读比赛,包含 1,156 张训练图像和 1,110 张评估图像。因为排除掉过短或含有非字母数字字符的词,数据集有两个版本(860 张和 867 张图像)。
    • ICDAR2013 (IC13):继承了大部分 IC03 的图像,为 ICDAR 2013 稳健阅读比赛设立,包含 848 张训练图像和 1,095 张评估图像。评估时有两个版本,分别包含 857 张和 1,015 张图像。

  • 不规则数据集:包含更具挑战性的场景文字,如曲线、任意旋转或扭曲的文字:

    • ICDAR2015 (IC15):用于 ICDAR 2015 稳健阅读比赛,包含 4,468 张训练图像和 2,077 张评估图像,图像来自 Google Glass 佩戴者的自然移动中,因此有很多噪声、模糊和旋转的图像。研究中评估版本有 1,811 张和 2,077 张图像两种。
    • SVT Perspective (SP):从 Google Street View 收集,包含 645 张评估图像,其中许多图像因非正面视角而带有透视投影。
    • CUTE80 (CT):从自然场景中收集的数据集,包含 288 张裁剪后的评估图像,许多为曲线文字图像。

版本差异

根据上表资讯,不同研究使用了不同版本的基准数据集进行模型评估(特别是在 IC03、IC13 和 IC15 数据集中)。

例如在 IC03 中,7 个样本的差异可能导致 0.8 个百分点的准确率差距,这在比较先前研究的结果时是一个巨大的差距。而在 IC13 和 IC15 中的样本数差距甚至比 IC03 更大。这些数据集版本的差异在评估模型性能时会造成比较偏差,这些差异需要在比较不同模型性能时予以特别注意。

架构分析

STR 结合图像特征提取与字符序列预测,常以卷积神经网络(CNN)和循环神经网络(RNN)处理这两类工作。

最早将 CNN 与 RNN 结合用于 STR 的模型是 CRNN,该模型通过 CNN 提取特征,并使用 RNN 进行序列预测。之后有许多变体被提出以提升性能,并引入了不同的模块来处理字体风格和背景等复杂特征。

部分方法甚至省略了 RNN 阶段以减少推理时间。后续研究为了改进字符序列的预测,则引入了基于注意力机制的解码器。

STR 四阶段架构大致如下:

  1. 转换阶段(Transformation):使用空间转换网络(STN)来标准化输入文字图像,以减少后续阶段的负担。
  2. 特征提取阶段(Feature Extraction):将输入图像转换为专注于字符识别的表征,同时抑制与字体、颜色、大小及背景无关的特征。
  3. 序列建模阶段(Sequence Modeling):捕捉字符序列中的上下文资讯,使每个字符的预测更加准确。
  4. 预测阶段(Prediction):根据特征提取的结果预测出最终的字符序列。

转换阶段

这个阶段的模块将输入图像 X 转换为标准化后的图像 X'。

由于自然场景中的文字图像形状多样(如弯曲、倾斜的文字),如果不经过处理直接输入后续阶段,特征提取阶段将需要学习与这些几何变形不变的表征。

为了减轻这种负担,部分研究使用了薄板样条(Thin-Plate Spline, TPS)变换,这是一种空间变换网络(STN)的变体。TPS 先预测文字上下边界的一组基准点,再通过平滑样条插值标准化文字区域。

TPS 能够灵活处理不同比例的文字图像,并将文字区域正规化为预定的矩形。

特征提取阶段

在这个阶段,卷积神经网络(CNN)将输入图像(X 或 X')抽象为视觉特征图。

每个特征图的列对应于输入图像水平方向上的一个可区分的感受野,这些特征用于预测每个感受野中的字符。

作者研究了三种常见的架构:VGG、RCNN 和 ResNet:

  • VGG:由多层卷积层和少数全连接层组成。
  • RCNN:CNN 的一种变体,能够递归应用以调整感受野,依据字符形状进行自适应处理。
  • ResNet:通过残差连接,缓解了训练深层 CNN 的困难。

序列建模阶段

特征提取阶段的输出被重塑为特征序列 V,即特征图的每一列 vi∈Vv_i \in V 被用作序列中的一帧。

然而,这样的序列可能缺乏上下文资讯,因此,先前的研究使用双向长短期记忆网络(或称为 BiLSTM)来增强序列 H=Seq.(V)H = Seq.(V) 的表现,捕捉字符序列中的上下文关联。

预测阶段

在这个阶段,从序列 HH 中预测字符序列 Y=y1,y2,…Y = y_1, y_2, …。

基于之前的研究,作者提供了两种预测选项:

  1. 连接主义时序分类(CTC):该方法可以在特征数固定的情况下预测非固定长度的序列,并通过删除重复字符和空白,将完整的字符序列转换为最终输出。
  2. 基于注意力机制的序列预测(Attention-based Sequence Prediction, Attn):该方法自动捕捉输入序列中的信息流,学习字符级别的语言模型来表示输出类别之间的依赖性。

这些模块可以依需求进行选择或调整,以适应不同的场景文字识别应用。

实验配置

如同之前提到的,数据集对 STR 模型的表现有显著影响,为了公平比较,作者固定了训练、验证和评估数据集的选择。

  • 训练数据集:MJSynth(8.9 百万样本)和 SynthText(5.5 百万样本)组合而成的数据集,共 14.4 百万样本。
  • 验证数据集:IC13、IC15、IIIT 和 SVT 的训练集联合作为验证数据集。
  • 训练参数:AdaDelta 优化器、衰减率 ρ=0.95、训练批次大小 192、总迭代次数 300,000 次、梯度剪裁幅度 5、He 初始化方法、每 2,000 次训练步骤后验证模型。
  • 重复数据处理:验证集未纳入 IC03 训练集,因其中 34 个场景图像(包含 215 个文字框)与 IC13 评估数据集重复。
  • 评估指标:
    • 准确率:针对 7 个真实数据集的不同评估版本,以及合并的 8,539 张图像,统计字词预测成功率;每种模块组合以 5 个不同随机种子重复训练并取平均。
    • 速度评估:测量每张图片的平均处理时间(毫秒)。
    • 内存评估:计算整个 STR 模型中可训练的浮点参数数量。
  • 实验环境:Intel Xeon(R) E5-2630 v4 2.20GHz CPU、NVIDIA TESLA P40 GPU、252GB RAM。

讨论

作者对不同模块组合的准确率-速度和准确率-内存的权衡分析。

上图展示了所有模块组合的权衡图,图中包括六个先前提出的 STR 模型(以星号标示)。

准确率-时间权衡分析

根据上表 (a),T1 是耗时最少的模型,因为它不包含任何转换或序列模块。

从 T1 到 T5,模块依次加入(以粗体显示):ResNet、BiLSTM、TPS(薄板样条)以及Attn(注意力机制)。

在 T1 到 T5 的变化中,每次仅变更一个模块,框架能根据应用场景提供平滑的性能过渡,从而在性能与计算效率之间做出最小的取舍。

ResNet、BiLSTM 和 TPS 显著提升准确率(69.5%→82.9%),但总体上仅引入了相对适度的速度下降(1.3 毫秒 →10.9 毫秒)。

Attn 的引入使准确率进一步提升了 1.1 个百分点,但每张图的时间从 10.9 毫秒增至 27.6 毫秒,显示其时间成本较高。

准确率-内存权衡分析

根据上表 (b),P1 是可训练参数最少的模型,从 P1 到 P5 展示参数量与准确率之间的权衡。

在准确率-内存权衡中,每次也仅变更一个模块,并逐步提升准确率,模块依次变更为:Attn、TPS、BiLSTM 及 ResNet。不过 P4 换成 ResNet 的 P5,参数量从 7.2M 增至 49.6M,推理时间反而从 30.1 降到 27.6 毫秒。

与 T1 中使用的 VGG 相比,RCNN 在 P1-P4 中显得更加轻量化,并提供了良好的准确率-内存权衡。RCNN 使用较少的独立 CNN 层,这些层反覆应用,提供了轻量化且高效的性能。

在 P1 到 P4 这组比较中,转换、序列和预测模块对参数量的影响相对较小(1.9M→7.2M),准确率则从 75.4% 升至 82.3%。

ResNet 则在最后阶段引入,使准确率增加了 1.7 个百分点,但参数量从 7.2M 增至 49.6M。因此,在这组模块选项与参数预算下,对内存消耗敏感的应用应审慎选用 ResNet 特征提取器。

模块分析

作者分析各个模块在准确率、速度和参数量方面的表现。上表的准确率是对所有包含该模块的组合取平均;时间与参数量则是各模块的单独测量值。

  • 准确率提升:对比于规则的基准数据集,在不规则数据集上的性能提升约为两倍。当比较准确率提升与时间使用时,模块升级顺序为:ResNet、BiLSTM、TPS、Attn,这是从基础组合(None-VGG-None-CTC)进行升级的最有效顺序,与准确率-时间权衡前沿的升级顺序(T1→T5)一致。

  • 准确率-内存观点:从内存消耗的角度,最有效的模块升级顺序是:RCNN、Attn、TPS、BiLSTM、ResNet,这也与准确率-内存权衡前沿的顺序(P1→P5)一致。除起始的 RCNN 选择外,后四项升级与时间权衡前沿的顺序相反。

失败案例分析

作者分析了 24 种模块组合共同面对的失败案例。

上图展示了六种常见的失败情况,在基准数据集中的 8,539 个范例中,有 644 张图片(7.5%)未被任何模型正确识别。

  1. 书法字体:

    • 某些品牌字体(如「Coca Cola」)或街道店名(如「Cafe」)的特殊字体风格仍然是挑战。这类多样化的字体表达要求一种新的特征提取器,提供更具广泛适应性的视觉特征。
    • 未来研究方向:或许能通过正则化来防止模型过度拟合于训练数据集中的字体风格。
  2. 垂直文本:

    • 大多数当前的 STR 模型假设文字图像为水平方向,因此无法有效处理垂直文本。部分模型已经尝试利用垂直资讯,但垂直文本的处理仍然不够完善。
    • 未来研究方向:进一步研究可能需要涵盖垂直文本的识别。
  3. 特殊字符:

    • 由于当前的基准测试不评估特殊字符,现有的研究在训练时排除了它们,导致模型将这些字符错误地视为字母或数字字符。
    • 未来研究方向:作者另以加入特殊字符的训练设定,在 IIIT 数据集上将准确率从 87.9% 提高到 90.3%。
  4. 严重遮挡:

    • 当前方法尚未充分利用上下文信息来克服遮挡问题。
    • 未来研究方向:可以考虑采用更强大的语言模型,最大限度地利用上下文信息。
  5. 低分辨率:

    • 现有模型没有明确处理低分辨率情况。
    • 未来研究方向:图像金字塔或超分辨率模块可能有助于提升性能。
  6. 标签噪声:

    • 有些失败的范例是由于数据集中存在错误标签。经检查,所有基准数据集都包含噪声标签。
    • 标签噪声统计:
      • 未考虑特殊字符的错误标签比例为 1.3%。
      • 考虑特殊字符的错误标签比例为 6.1%。
      • 考虑大小写敏感性的错误标签比例为 24.1%。

结论

本论文对场景文字识别领域进行了深入且全面的分析,提出了一个统一的分析框架,为不同模型的性能进行了公平比较。

如果在这之前的论文你没时间看,那至少要看这篇!

它能帮助你快速理解 2019 年文字识别领域的现状,并为你的研究提供清晰的方向,避免走许多弯路。