返回论文笔记资料库
arXiv 2021CVPR 2021文本识别论文笔记

ABINet

要不再想想?

原始论文

Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

论文作者

Shancheng Fang · Hongtao Xie · Yuxin Wang · Zhendong Mao · Yongdong Zhang

发表版本
CVPR 2021会议
arXiv 首次提交
arXiv:2103.06495
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionabinet2021,
  title = {{Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition}},
  author = {Shancheng Fang and Hongtao Xie and Yuxin Wang and Zhendong Mao and Yongdong Zhang},
  year = {2021},
  eprint = {2103.06495},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2103.06495}
}
本页内容

视觉的识别似乎已经走到了尽头,人们开始思考如何让模型更像人类一样去理解和读取文字。

定义问题

过去许多研究都是通过视觉特征进行文字识别,但只要遇到模糊、遮挡或是变形的文字,模型就会出现困难。因为视觉上的特征已经受到破坏,模型无法从中找到文字的特征。

为了解决这个问题,人们开始尝试引入语言模型来帮助模型理解文字。

举例来说,我们可能看到一个模糊的文字:APP?E,这时候我们可以通过语言模型来帮助我们理解这个文字应该是 APPLE。

目前人类的阅读行为被认为具有:

  1. 自主性(Autonomous):视觉和语言可以独立学习,语言可以帮助视觉理解文字。
  2. 双向性(Bidirectional):不清楚的文字,可以从上下文推测,找到答案。
  3. 迭代性(Iterative):人们可以多次推理和修正,提高预测的准确度。

本篇论文的作者认为,既然人类可以这样做,那么模型也应该可以!

  1. 自主性(Autonomous):使用视觉模型和语言模型,独立建模文字的视觉和语言特征。
  2. 双向性(Bidirectional):作者提出「双向填字网络」任务,通过上下文来学习。
  3. 迭代性(Iterative):通过迭代的方式,不断修正文字的预测。

想法有了,具体细节也有了,那么就剩下实验证明有效性了!

解决问题

作者提出了一个新的模型架构:ABINet,用来解决文字识别的问题。

首先我们来看视觉模型的部分。

视觉模型

视觉模型像是之前常见的网络架构,使用 ResNet 提取特征,再以 Transformer 建模序列,将图像 xx 转换为特征表示:

Fb=τ(R(x))∈RH4×W4×CF_b = \tau(R(x)) \in \mathbb{R}^{\frac{H}{4} \times \frac{W}{4} \times C}

其中,HH 与 WW 为图像尺寸,CC 为特征维度。

位置注意力模块并行读取视觉特征 FbF_b,得到各字符位置的特征 FvF_v;之后才以线性层和 softmax 转为字符概率:

Fv=softmax(QKTC)VF_v = \text{softmax}\left(\frac{QK^T}{\sqrt{C}}\right)V

Q∈RT×CQ \in \mathbb{R}^{T \times C},表示字符顺序的位置编码(positional encodings),用来查询各输出位置的视觉特征。这里 TT 是字符序列位置数,CC 是特征维度。

K=G(Fb)∈RHW16×CK = G(F_b) \in \mathbb{R}^{\frac{HW}{16} \times C},是通过函数 G(⋅)G(\cdot) 对特征 FbF_b 进行处理后得到的「键」(key),并用于与查找 QQ 进行对齐。

其中,FbF_b 是图像特征输出,HH 和 WW 分别为图像的高与宽。G(⋅)G(\cdot) 是一个小型的 U-Net(mini U-Net),用来产生保留空间位置的键特征。

经过处理后,KK 的尺寸为 HW16×C\frac{HW}{16} \times C;它与 QQ 的共同特征维度为 CC,两者的序列长度不必相同。

V=H(Fb)∈RHW16×CV = H(F_b) \in \mathbb{R}^{\frac{HW}{16} \times C},表示「值」(value),由 H(⋅)H(\cdot) 对 FbF_b 进行映射得到。在这里,H(⋅)H(\cdot) 采用的是恒等映射(identity mapping),即直接将 FbF_b 的特征传递过来,不进行额外的变换。这使得 VV的 尺寸同样为 HW16×C\frac{HW}{16} \times C,并与 KK 保持相同的特征空间和空间分辨率。

语言模型

视觉模型我们看完了,然后作者继续串接语言模型,这里有几个重要的策略:

  1. 自主策略(Autonomous Strategy):

    如上图,语言模型被视为独立的拼写修正模型,以字符的概率向量为输入,输出期望字符的概率分布。这样的设计使得语言模型能够从未标注的文字中独立训练,并且使模型更具可解释性和模块化,同时也能够替换和灵活操作语言模型。

    为了确保语言模型的独立性,作者提出了阻断输入向量的梯度流(BGF),让语言模型的损失不会经由输入概率回传到视觉模型,使语言模型必须学习文字规律。

    这个策略的好处是可以引入自然语言处理(NLP)的技术,也容许替换为能处理字符概率输入的预训练语言模型。

  2. 双向策略(Bidirectional Strategy):

    语言模型的条件概率分为双向和单向表示,分别为 P(yi∣yn,…,yi+1,yi−1,…,y1)P(y_i | y_n, \dots, y_{i+1}, y_{i-1}, \dots, y_1) 和 P(yi∣yi−1,…,y1)P(y_i | y_{i-1}, \dots, y_1)。因此双向模型能提供更丰富的语意信息。

    像是 BERT 的遮罩语言模型(Masked Language Model, MLM),用 [MASK] 替换掉需要预测的字符 yiy_i。但直接使用 MLM 效率极低,因为对每个字符串都需重复 nn 次遮罩操作来逐一预测字符。为提高效率,作者提出了双向填字网络(BCN),用以取代需多次遮罩的 MLM,具更高的效率。

    BCN 采用传统 Transformer 的 Decoder 架构,但有些地方不同:BCN 将字符向量直接输入多头注意力模块,而非输入网络的第一层。为防止字符「看到自己」,多头注意力模块中的注意力遮罩进行了特别设计,以避免字符间的信息泄露。

    BCN 不使用一般的自注意力:每层的键和值都由输入字符概率映射而来,查询则使用位置编码或上一层输出,以免跨层泄漏待预测字符。在 BCN 的多头注意力块中,遮罩矩阵 MM 的构造如下:

    Mij={0,i≠j−∞,i=jM_{ij} = \begin{cases} 0, & i \neq j \\ -\infty, & i = j \end{cases}

    Ki=Vi=P(yi)WlK_i = V_i = P(y_i) W_l,其中 P(yi)∈RcP(y_i) \in \mathbb{R}^c 表示字符 yiy_i 的概率分布,Wl∈Rc×CW_l \in \mathbb{R}^{c \times C} 为线性映射矩阵。

    多头注意力的计算公式为:

    Fmha=softmax(QKTC+M)VF_{\text{mha}} = \text{softmax}\left(\frac{QK^T}{\sqrt{C}} + M\right)V

    在此,Q∈RT×CQ \in \mathbb{R}^{T \times C}表示第一层字符序列的位置编码,而在后续层中则为上一层的输出结果。K,V∈RT×CK, V \in \mathbb{R}^{T \times C} 则来自字符概率 P(yi)P(y_i) 的线性映射。

    BCN 通过设置类似填字(cloze)的注意力遮罩,能够有效地学习更强的双向表示,相较于单向模型更能捕捉语意的完整性。

  1. 迭代策略(Iterative Strategy):

    作者提出了迭代修正(Iterative Correction)的策略,来解决 Transformer 的并行预测中,来自视觉模型的噪声输入会降低预测信心的问题。在第一轮,yi1y_{i_1} 为视觉模型的概率预测;在后续迭代中,yi≥2y_{i \geq 2} 来自前次融合模型的预测。

  1. 融合(Fusion)

    视觉模型训练于图像数据,而语言模型则训练于文字数据,这两者本质上是不同模态的信息。因此,为了让视觉特征与语言特征相互对齐,融合过程需要一种机制来将这两种模态的特征进行结合。为实现最终的融合,作者使用了一种「门控机制」(gated mechanism),这一方法可以有效地平衡两种模态特征的影响,并决定最终的输出特征。

    首先,对视觉特征 FvF_v 和语言特征 FlF_l 进行拼接(concatenate),并通过一个线性映射矩阵 Wf∈R2C×CW_f \in \mathbb{R}^{2C \times C} 将拼接后的特征压缩至与 FvF_v 和 FlF_l 相同的维度。

    门控向量GG由以下公式计算得到:

    G=σ([Fv,Fl]Wf)G = \sigma([F_v, F_l] W_f)

    其中,σ\sigma 表示 Sigmoid 函数,用于将门控向量 GG 的值限制在 [0,1][0, 1] 之间。这样 GG 可以用来控制视觉特征与语言特征在最终输出中的权重。

    最终的融合特征 FfF_f 通过门控机制将 FvF_v 与 FlF_l 加权组合得到:

    Ff=G⊙Fv+(1−G)⊙FlF_f = G \odot F_v + (1 - G) \odot F_l

    在此,⊙\odot 表示元素相乘(element-wise multiplication)。GG 控制了 FvF_v 和 FlF_l 的加权比例。例如,当 GG 接近 1 时,视觉特征 FvF_v 的影响更大;反之,当 GG 接近 0 时,语言特征 FlF_l 的影响更大。

  2. 监督学习

    ABINet 的训练采用端到端的多任务目标函数,通过结合视觉特征、语言特征及融合特征的损失来进行模型优化。

    具体的目标函数为:

    L=λvLv+λlM∑i=1MLli+1M∑i=1MLfiL = \lambda_v L_v + \frac{\lambda_l}{M} \sum_{i=1}^{M} L_l^i + \frac{1}{M} \sum_{i=1}^{M} L_f^i

    其中:

    • LvL_v:视觉特征 FvF_v 的交叉熵损失。
    • LlL_l:语言特征 FlF_l 的交叉熵损失。
    • LfL_f:融合特征 FfF_f 的交叉熵损失。
    • LliL_l^i 和 LfiL_f^i:分别表示在第 ii 次迭代中的语言特征损失与融合特征损失。
    • λv\lambda_v 和 λl\lambda_l:权衡系数,用于调整各个损失项的影响,确保视觉与语言特征在训练中的贡献平衡。

实作细节

  • 训练数据集:使用两个合成数据集 MJSynth (MJ)和 SynthText (ST)进行模型训练。
  • 测试数据集:包括六个标准基准数据集:ICDAR 2013 (IC13)、ICDAR 2015 (IC15)、IIIT 5K-Words (IIIT)、Street View Text (SVT)、Street View Text-Perspective (SVTP) 和 CUTE80 (CUTE)。
  • 半监督方法的无标记数据:使用 Uber-Text 数据集(移除标签)来评估半监督学习的效果。
  • 模型设置:模型维度 CC 设为 512,BCN 包含 4 层,每层有 8 个注意力头。平衡因子 λv\lambda_v 和 λl\lambda_l 皆设为 1。
  • 图像预处理:将图像缩放至 32×128,并进行数据增强(如几何转换、图像品质降低、颜色抖动等)。
  • 训练环境:使用 4 个 NVIDIA 1080Ti 显卡,批量大小为 384。优化器采用 ADAM,初始学习率为 1e-4,并在第 6 个 epoch 后衰减至 1e-5。

讨论

与其他方法的比较

为了进行严格的公平比较,作者重现了 SOTA 算法 SRN,使其与 ABINet 共享相同的实验配置。两个重现版本的 SRN 分别使用不同的视觉模型(VM),且做了以下改进,包括替换 VM、移除多尺度训练的副作用、应用学习率衰减等。相较于原始报告的 SRN 性能有所提升。

  • ABINet-SV 与 SRN-SV 的比较:ABINet-SV 在多个数据集上优于 SRN-SV。
  • ABINet-LV 的表现:当搭配更强的 VM 时,ABINet-LV 在六组数据中有五组优于同配置的 SRN-LV;IIIT 则是 96.2% 对 96.3%。

ABINet 在 MJ 和 ST 训练的情况下,尤其在 SVT、SVTP 和 IC15 这些数据集上表现突出。这些数据集中含有大量的低质量图像(如噪声和模糊图像),对于视觉模型来说识别具有挑战性,但 ABINet 借由语言信息的补充显著提升了识别效果。

ABINet 能够成功识别不规则字体和非标准排版的文字,这主要得益于语言信息对视觉特征的重要补充作用。即便没有图像校正,ABINet 也能在 CUTE 数据集中取得次佳表现,显示出在不规则文字上的良好识别能力。

消融实验-视觉模型

这里主要比较了不同的特征抽取和序列建模方法。

比起常见的平行注意力方法,作者所提出的「位置注意力」在表示键值向量方面更具表现力。

此外,升级视觉模型能显著提高准确性,但代价是增加了参数和计算成本。或是可以通过在特征抽取中使用位置注意力,以及在序列建模中使用更深层的 Transformer 来升级 VM。

消融实验-语言模型

  • PVM:表示在 MJ 和 ST 数据集上以监督学习的方式预训练视觉模型(VM)。
  • PLMin\text{PLM}_{in}:表示在 MJ 和 ST 数据集上,以自我监督学习的方式预训练语言模型(LM)。
  • PLMout\text{PLM}_{out}:表示在 WikiText-103 数据集上,以自我监督学习的方式预训练语言模型。
  • AGF(允许梯度流动):表示允许在视觉模型和语言模型之间进行梯度流动。

在监督学习的情境下预训练 VM(PVM)可以使六组基准的平均准确率提升 0.6~0.7 个百分点,显示出视觉模型预训练在这组实验中的效果。

PLMin\text{PLM}_{in} 的效果较小,这可能是由于这些数据集的文字数据在多样性和语言结构上的不足,无法提供足够丰富的语言信息。

PLMout\text{PLM}_{out} 的效果更佳,因为这个大型语料库能够显著提升 LM 对文字上下文的理解能力,即便在高准确度的模型中仍能进一步提升性能。

激活 AGF 会使模型平均准确率由 92.3% 降至 91.4%,下降 0.9 个百分点;训练损失却迅速下降。作者据此认为语言模型可能借助视觉模型的信息在训练中过拟合,因此阻断梯度流动有助于语言模型独立学习文字规律。

消融实验-双向策略

由于 BCN 是一种基于 Transformer 的变体,因此与其相似的 SRN 进行了比较。

为确保公平性,实验在相同条件下进行,唯一区别在于所使用的网络结构。作者使用 SV 和 LV 作为视觉模型(VM)来验证 BCN 在不同准确性水平下的效果。

  • BCN vs. SRN-U:BCN 与 SRN 的单向版本(SRN-U)在参数数量和推理速度上相近,但 BCN 在不同的视觉模型下均具有竞争优势,表现出更高的准确性。
  • BCN vs. 双向 SRN:相较于双向集成的 SRN,BCN 在 IC15 和 CUTE 等具挑战性的数据集上表现更佳。表中的推论时间在 SV 配置由 24.2 降至 19.5 毫秒、LV 配置由 26.9 降至 22.0 毫秒;代价是各配置仍需对照其准确率。

可视化分析

为理解 BCN 在 ABINet 中的工作方式,作者通过上图展示了「today」一词的前五大预测概率。

  • 当输入为「-oday」或「tod-y」时,BCN 能高置信度地预测出「t」和「a」,并对最终的融合预测有正面贡献。
  • 对于错误字符「l」和「o」,BCN 的信心较低,且对最终预测的影响较小。
  • 若存在多个错误字符,则 BCN 难以恢复正确文字,因为缺乏足够的上下文支持。

结论

本篇论文在文字识别模型中引入了语言模型的分支。通过自主、双向和迭代的设计,ABINet 能够有效地提升文字识别的准确性和泛化性。实验结果表明,ABINet 在多个基准数据集上均取得了优异的表现,并且在不规则文字和低质量图像上具有显著的优势。