返回论文笔记资料库
arXiv 2023ICCV 2023文本识别论文笔记

Union14M

棋子如繁星坠落

原始论文

Revisiting Scene Text Recognition: A Data Perspective

论文作者

Qing Jiang · Jiapeng Wang · Dezhi Peng · Chongyu Liu · Lianwen Jin

发表版本
ICCV 2023会议
arXiv 首次提交
arXiv:2307.08723
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionunion14m2023,
  title = {{Revisiting Scene Text Recognition: A Data Perspective}},
  author = {Qing Jiang and Jiapeng Wang and Dezhi Peng and Chongyu Liu and Lianwen Jin},
  year = {2023},
  eprint = {2307.08723},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2307.08723}
}
本页内容

我们看文本识别的论文也看了数十篇,大家使用的验证数据集翻来覆去也就是那几个:ICDAR、IIIT5K、SVT、SVTP、CUTE80 等。

说实在的,这些数据集的表现也大多接近饱和了。

定义问题

如上图,这是六个常见的数据集表现平均值。

从我们熟悉的 CRNN 开始,到后来的 SAR、SATRN、ABINet。在 2022 年后,整体的表现已经达到了 92% 以上,再往上已经没有什么提升的空间。

那这是不是表示 STR 已经可以标定为一个「已解决」的问题呢?或者说,有没有一种可能是我们所采用的验证数据集的表达能力不足,导致我们无法看到更多的可能性?

既然不行,那我们能不能就不要了?

只见作者心一横,决定把现在的棋盘掀了,重新来过。

解决问题

既然现有的数据集无法反映现实世界中场景文本识别(STR)所面临的真实挑战,作者们决定整合一个全新的大规模真实数据集: Union14M。

Union14M 包含了 400 万张标记图像(Union14M-L) 和 1000 万张未标记图像(Union14M-U),从 17 个公开可用的数据集中获取,如下表所列:

这个数据集整合目前大多数的数据集,归纳不同类别的挑战项目,目标是更全面地代表现实世界中的文本分布。

通过这个庞大的数据集,作者们希望能够深入分析 STR 模型在更复杂、多变的真实场景中的性能,找出现有模型的不足之处,进而推动该领域的进一步发展。

Union14M-L

共 400 万笔标记图像,作者采用数据收集策略以涵盖多元真实场景为目标,从 14 个公开数据集 中收集标记图像以构建 Union14M-L。

这些数据集具备多样化的特性,如:

  • ArT:专注于曲线文本的图像。
  • ReCTS、RCTW、LSVT、KAIST、NEOCR 和 IIIT-ILST:涵盖不同国家街景的数据。
  • MTWI:从网页截取场景文本图像。
  • COCOTextV2:包含大量低分辨率与垂直文本的图像。
  • IntelOCR、TextOCR 和 HierText:来自 OpenImages,该数据集包含约 900 万张图像,涵盖各类真实场景。

通过集成这些数据集,作者希望以更广泛的真实场景进行映射,进而支持深入的分析。

然而,简单地将这些数据集直接串接并非最优解,因为它们存在标注格式不一致、重复样本以及非拉丁字符或损毁的图像。为了解决这些问题,作者采用了以下策略进行优化:

  • 裁剪文本实例:大多数数据集使用多边形标注文本区域,但作者在这里改用「最小轴对齐矩形」进行裁剪。这种裁剪方式可能导入更多背景噪点,使模型在学习过程中面临更多挑战,增强其对背景噪音的稳健性。这也减少了模型对检测器准确性的依赖,有助于分析识别器的性能。

  • 去除重复样本:首先排除 Union14M-L 与常见基准间的重复样本,并进一步剔除 14 个数据集间的重复数据。例如,HierText、TextOCR 和 IntelOCR 的部分内容重复,因为它们皆源自 OpenImages。作者选择以 HierText 为主要参考,剔除其余两个数据集中的重复部分。

  • 排除非拉丁字符和忽略样本:为了聚焦于主要使用的拉丁字母,我们只保留了包含字母、数字与符号的样本,同时移除那些被标注为「忽略」的图像。

Union14M-U

共有 1000 万笔未标记图像,由于自监督学习在近年已推动电脑视觉领域取得许多进展,并且在 STR 领域中也逐渐受到重视。可是手动标注文本图像需要耗费大量时间与专业语言知识,因此作者探索如何利用未标记数据提升 STR 模型性能。

为此,作者从 Book32、OpenImages 和 Conceptual Captions (CC) 三个大型数据集中收集了 1000 万笔未标记图像。

与以往的研究不同,作者使用了三个文本检测器并采用 IoU 投票机制来挑选高质量的文本实例。此外,作者们还剔除了 OpenImages 中的重复数据,以避免与 Union14M-L 的标记数据重复。

多样化的文本风格

如上图所示,Union14M 涵盖了多元真实场景中的文本图像,这些文本展现出多种布局,例如曲线文本、倾斜文本与垂直文本,并且包含许多挑战性元素,如模糊、复杂背景、遮挡等。此外,它还涵盖了各种真实应用场景中的文本,如街景招牌与商标。

还有一个需要注意的地方,即 Union14M 包含了大量的垂直文本,这在真实世界中相当常见,但在合成数据集中则相对稀少。

丰富的词汇量

在合成数据集中使用的文本主要来自常见语料库,但真实场景中的文本变化多端,可能包含不在语料库中的组合,例如车牌号码或中英文拼音的混合。如上表所示,Union14M-L 的词汇量几乎是合成数据集的两倍,显示它能够更广泛地涵盖真实场景中的多样情境,为我们的分析提供丰富的数据支持。

模型架构

在完成 Union14M 数据集后,作者提出了一个基于自监督学习的解决方案:MAERec。

该模型通过自监督预训练,充分利用 Union14M-U 中的 1000 万张未标记图像。

MAERec 的核心基于 ViT,其优势在于能轻松应用于掩码图像建模。

输入图像首先被划分为 4 × 4 的图像补丁,然后送入 ViT 骨干网络。模型的输出序列会通过一个 自回归解码器(采用 SATRN 中的 Transformer 解码器),来生成最终的文本预测结果。

在进行公平比较时,我们仅将 字符类别数统一为 91 类(包括数字、大写与小写字母、符号及空格),其他超参数则与原始模型设置保持一致。

预训练与微调

为了利用 Union14M-U 中的大量未标记图像,作者采用了 MAE 框架进行预训练,并进行了适度调整。

如上图所示,在掩码比例高达 75% 的情况下,预训练的 ViT 骨干网络搭配重建解码器,仍能重建文本图像。这显示模型学到了有用的文本图像结构;是否有助于识别,仍须看后续微调实验。

在完成预训练后,作者使用预训练好的 ViT 权重来初始化 MAERec,并在 Union14M-L 上进行微调。

讨论

残酷的现实

作者首先选择了 13 个代表性的 STR 模型,这些模型皆以合成数据进行训练,并在 Union14M-L 上进行测试。如上表所示,

这些模型在 Union14M-L 上的表现有明显退步,平均准确率下降了...

  • 20.50 个百分点!

挑战挖掘

为了找出 13 个模型共同失误的类型,作者为 Union14M-L 中的每个样本分配了一个难度分数,并专注于大多数模型无法正确识别的困难样本,从中总结出四个尚未被充分解决的挑战,以及三个现实世界中常见但先前研究较少关注的挑战。

  • 曲线文本 (Curve Text)

    如上图 (a),曲线文本识别在近年来引起了许多关注,主要有两种主流方法:

    1. 基于文本校正的模型
    2. 使用 2D 注意力机制的模型

    虽然这些方法在 CUTE 基准数据集上展现了良好性能,但该数据集中曲线文本的比例有限,且曲率程度较低。当遇到高度弯曲的文本时,现有模型的表现仍然不理想。


  • 多方向文本 (Multi-Oriented Text)

    如上图 (b),文本可能以「垂直、倾斜或镜像」等任意方向出现在不同物体表面,如广告牌上的垂直文本或相机拍摄角度造成的倾斜文本。然而,现有的 STR 模型大多假设文本是接近水平排列的,因此忽略了多方向文本的问题。

    这些模型通常会将图像的高度缩小至固定尺寸(如 32 像素),并保持宽高比例不变。然而,这种缩放方式可能导致「垂直或倾斜的图像高度塌缩」,进一步阻碍了识别能力。


  • 艺术文本 (Artistic Text)

    如上图 (e),艺术文本由设计师以各种字体、效果与排版设计而成,背景也可能非常复杂。每个艺术文本实例都可能是独一无二的,使其成为「零样本或单样本识别问题」,需要特别设计的网络来处理。然而,由于合成数据集中缺乏艺术文本样本,目前的模型在处理艺术文本时稳健性仍然不足。


  • 无上下文文本 (Contextless Text)

    如上图 (f),无上下文文本指的是「不具有语义」或不在字典中的文本,如缩写或随机的字母、数字和符号组合。即使背景清晰且变形程度低,模型也可能无法正确识别这些文本。这是由于模型的语料库中过度引入了语义信息,导致模型依赖词汇进行预测。

    例如,模型可能将「YQJ」错误识别为「you」,这在某些应用(如车牌识别、发票识别及身份证识别)中特别危险,因为错误识别可能导致严重的安全风险或财产损失。


  • 显著文本 (Salient Text)

    如上图 (c),显著文本指的是文本图像中「存在多余的干扰字符」,与主要文本共存。当不同尺寸的文本相邻或重叠时,这些干扰文本可能会被意外包含在内,进而影响识别效果。在检测阶段,Liao 等人提出了ROI 掩码策略来去除这些干扰字符。然而,当检测模型的性能不佳,无法准确检测文本区域时,识别模型的快速识别关键区域的能力变得极为重要。


  • 多词文本 (Multi-Words Text)

    如上图 (d),某些场合中,单一词语不足以传达完整语义,需要同时识别多个词组,如「商标或短语」。然而,大多数 STR 模型仅在合成数据集中接受单词级别的训练,因此常常无法识别「单词间的空格」。

    作者观察到,模型往往会将多个词语拼接为一个单词,甚至忽略或更改部分可见字符来符合语法规则。例如,「Live to Evolve」可能被错误识别为「liveroee」,因为模型倾向于将其当作单一单词来解读。


  • 不完整文本 (Incomplete Text)

    如上图 (g),文本图像可能因「遮挡或检测框不准确」而缺失部分字符。当图像裁剪掉首尾字符时,模型可能会自动进行填补,产生完整的预测结果,即使缺失的字符并不可见。

    此行为在依赖语言模型的系统中尤为明显,因为模型大量使用语言上的先验知识进行预测。然而,这种「自动补全」特性在某些应用中可能降低模型的可靠性。例如,若图像仅显示「ight」,模型可能将其补全为「might」或「light」,但最理想的情况是模型直接输出「ight」,让后续系统进行异常检测。

    因此,我们需要全面评估自动补全功能的性能,并仔细考量其对下游应用的潜在影响。

基准数据集的构建

为了更全面地评估 STR 模型在真实场景中的表现,并支持对前述「七大挑战」的进一步研究,作者们构建了一个挑战导向的基准数据集:

  • Union14M-Benchmark。

该基准包含八个子集:40 万张一般样本与 9,383 张挑战样本,共 409,383 张图像,覆盖了不同的文本复杂性和多样性。

实验结果

作者为了综合比较各个模型,首先展示训练在合成数据集(MJ+ST)上的结果:

接着把所有模型用 Union14M 重新训练:


与常见基准数据集相比,当模型训练于合成数据时,其在 Union14M-Benchmark 上的平均准确率下降了 48.5 个百分点,而在使用 Union14M-L 训练时,准确率下降了 33.0 个百分点。这表明,这个挑战导向基准中的文本图像比六个常见基准更难识别。

模型若在 Union14M-L 上训练,其在常见基准和 Union14M-Benchmark 上的准确率分别提升了 3.9 个百分点和 19.6 个百分点。这显示,合成数据训练难以应对复杂的真实世界需求,而使用真实数据进行训练能显著提升模型在这些测试集上的表现。

当仅使用 Union14M-L 进行训练时,13 个比较模型在 Union14M-Benchmark 上的最高平均准确率仅为 74.6%(此平均值不含不完整文本子集)。这表明,STR 问题还远未被解决。虽然大规模真实数据可以带来性能上的一定提升,但未来仍需要更多的努力来解决这些挑战。

当使用合成数据训练时,所有模型在不完整文本子集上,裁去首字或尾字后的准确率都比裁切前下降。下列是各类模型在 WAICS 指标上的平均下降幅度:

  • 语言模型:下降 10.2 个百分点
  • CTC 模型:下降 5.6 个百分点
  • 注意力模型:下降 5.9 个百分点

作者推测,语言模型的性能下降与其错误修正行为有关,即模型试图「自动补全被视为字符缺失」的错误。这一问题在使用 Union14M-L 训练时有所缓解,这可能是因为该数据集中较大的词汇量使模型不易过度拟合训练语料。然而,该问题依然存在,并需要进一步研究。

结论

这篇论文的内容非常丰富,其中提到许多目前模型的问题、数据集的问题等。Union14M 的创建是一个非常大的工程,为我们提供了一个更全面的真实世界文本识别数据集,让我们能够更好地、更全面地评估模型的性能。