Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition
- 发表版本
- CVPR 2021会议
- arXiv 首次提交
- arXiv:2103.06495
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitionabinet2021,
title = {{Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition}},
author = {Shancheng Fang and Hongtao Xie and Yuxin Wang and Zhendong Mao and Yongdong Zhang},
year = {2021},
eprint = {2103.06495},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2103.06495}
}
视觉的识别似乎已经走到了尽头,人们开始思考如何让模型更像人类一样去理解和读取文字。
定义问题
过去许多研究都是通过视觉特征进行文字识别,但只要遇到模糊、遮挡或是变形的文字,模型就会出现困难。因为视觉上的特征已经受到破坏,模型无法从中找到文字的特征。
为了解决这个问题,人们开始尝试引入语言模型来帮助模型理解文字。
举例来说,我们可能看到一个模糊的文字:APP?E,这时候我们可以通过语言模型来帮助我们理解这个文字应该是 APPLE。
目前人类的阅读行为被认为具有:
- 自主性(Autonomous):视觉和语言可以独立学习,语言可以帮助视觉理解文字。
- 双向性(Bidirectional):不清楚的文字,可以从上下文推测,找到答案。
- 迭代性(Iterative):人们可以多次推理和修正,提高预测的准确度。
本篇论文的作者认为,既然人类可以这样做,那么模型也应该可以!
- 自主性(Autonomous):使用视觉模型和语言模型,独立建模文字的视觉和语言特征。
- 双向性(Bidirectional):作者提出「双向填字网络」任务,通过上下文来学习。
- 迭代性(Iterative):通过迭代的方式,不断修正文字的预测。
想法有了,具体细节也有了,那么就剩下实验证明有效性了!
解决问题
作者提出了一个新的模型架构:ABINet,用来解决文字识别的问题。
首先我们来看视觉模型的部分。
视觉模型
视觉模型像是之前常见的网络架构,使用 ResNet 提取特征,再以 Transformer 建模序列,将图像 转换为特征表示:
其中, 与 为图像尺寸, 为特征维度。
位置注意力模块并行读取视觉特征 ,得到各字符位置的特征 ;之后才以线性层和 softmax 转为字符概率:
,表示字符顺序的位置编码(positional encodings),用来查询各输出位置的视觉特征。这里 是字符序列位置数, 是特征维度。
,是通过函数 对特征 进行处理后得到的「键」(key),并用于与查找 进行对齐。
其中, 是图像特征输出, 和 分别为图像的高与宽。 是一个小型的 U-Net(mini U-Net),用来产生保留空间位置的键特征。
经过处理后, 的尺寸为 ;它与 的共同特征维度为 ,两者的序列长度不必相同。
,表示「值」(value),由 对 进行映射得到。在这里, 采用的是恒等映射(identity mapping),即直接将 的特征传递过来,不进行额外的变换。这使得 的 尺寸同样为 ,并与 保持相同的特征空间和空间分辨率。
语言模型
视觉模型我们看完了,然后作者继续串接语言模型,这里有几个重要的策略:
-
自主策略(Autonomous Strategy):
如上图,语言模型被视为独立的拼写修正模型,以字符的概率向量为输入,输出期望字符的概率分布。这样的设计使得语言模型能够从未标注的文字中独立训练,并且使模型更具可解释性和模块化,同时也能够替换和灵活操作语言模型。
为了确保语言模型的独立性,作者提出了阻断输入向量的梯度流(BGF),让语言模型的损失不会经由输入概率回传到视觉模型,使语言模型必须学习文字规律。
这个策略的好处是可以引入自然语言处理(NLP)的技术,也容许替换为能处理字符概率输入的预训练语言模型。
-
双向策略(Bidirectional Strategy):
语言模型的条件概率分为双向和单向表示,分别为 和 。因此双向模型能提供更丰富的语意信息。
像是 BERT 的遮罩语言模型(Masked Language Model, MLM),用
[MASK]替换掉需要预测的字符 。但直接使用 MLM 效率极低,因为对每个字符串都需重复 次遮罩操作来逐一预测字符。为提高效率,作者提出了双向填字网络(BCN),用以取代需多次遮罩的 MLM,具更高的效率。BCN 采用传统 Transformer 的 Decoder 架构,但有些地方不同:BCN 将字符向量直接输入多头注意力模块,而非输入网络的第一层。为防止字符「看到自己」,多头注意力模块中的注意力遮罩进行了特别设计,以避免字符间的信息泄露。
BCN 不使用一般的自注意力:每层的键和值都由输入字符概率映射而来,查询则使用位置编码或上一层输出,以免跨层泄漏待预测字符。在 BCN 的多头注意力块中,遮罩矩阵 的构造如下:
,其中 表示字符 的概率分布, 为线性映射矩阵。
多头注意力的计算公式为:
在此,表示第一层字符序列的位置编码,而在后续层中则为上一层的输出结果。 则来自字符概率 的线性映射。
BCN 通过设置类似填字(cloze)的注意力遮罩,能够有效地学习更强的双向表示,相较于单向模型更能捕捉语意的完整性。
-
迭代策略(Iterative Strategy):
作者提出了迭代修正(Iterative Correction)的策略,来解决 Transformer 的并行预测中,来自视觉模型的噪声输入会降低预测信心的问题。在第一轮, 为视觉模型的概率预测;在后续迭代中, 来自前次融合模型的预测。
-
融合(Fusion)
视觉模型训练于图像数据,而语言模型则训练于文字数据,这两者本质上是不同模态的信息。因此,为了让视觉特征与语言特征相互对齐,融合过程需要一种机制来将这两种模态的特征进行结合。为实现最终的融合,作者使用了一种「门控机制」(gated mechanism),这一方法可以有效地平衡两种模态特征的影响,并决定最终的输出特征。
首先,对视觉特征 和语言特征 进行拼接(concatenate),并通过一个线性映射矩阵 将拼接后的特征压缩至与 和 相同的维度。
门控向量由以下公式计算得到:
其中, 表示 Sigmoid 函数,用于将门控向量 的值限制在 之间。这样 可以用来控制视觉特征与语言特征在最终输出中的权重。
最终的融合特征 通过门控机制将 与 加权组合得到:
在此, 表示元素相乘(element-wise multiplication)。 控制了 和 的加权比例。例如,当 接近 1 时,视觉特征 的影响更大;反之,当 接近 0 时,语言特征 的影响更大。
-
监督学习
ABINet 的训练采用端到端的多任务目标函数,通过结合视觉特征、语言特征及融合特征的损失来进行模型优化。
具体的目标函数为:
其中:
- :视觉特征 的交叉熵损失。
- :语言特征 的交叉熵损失。
- :融合特征 的交叉熵损失。
- 和 :分别表示在第 次迭代中的语言特征损失与融合特征损失。
- 和 :权衡系数,用于调整各个损失项的影响,确保视觉与语言特征在训练中的贡献平衡。
实作细节
- 训练数据集:使用两个合成数据集 MJSynth (MJ)和 SynthText (ST)进行模型训练。
- 测试数据集:包括六个标准基准数据集:ICDAR 2013 (IC13)、ICDAR 2015 (IC15)、IIIT 5K-Words (IIIT)、Street View Text (SVT)、Street View Text-Perspective (SVTP) 和 CUTE80 (CUTE)。
- 半监督方法的无标记数据:使用 Uber-Text 数据集(移除标签)来评估半监督学习的效果。
- 模型设置:模型维度 设为 512,BCN 包含 4 层,每层有 8 个注意力头。平衡因子 和 皆设为 1。
- 图像预处理:将图像缩放至 32×128,并进行数据增强(如几何转换、图像品质降低、颜色抖动等)。
- 训练环境:使用 4 个 NVIDIA 1080Ti 显卡,批量大小为 384。优化器采用 ADAM,初始学习率为 1e-4,并在第 6 个 epoch 后衰减至 1e-5。
讨论
与其他方法的比较
为了进行严格的公平比较,作者重现了 SOTA 算法 SRN,使其与 ABINet 共享相同的实验配置。两个重现版本的 SRN 分别使用不同的视觉模型(VM),且做了以下改进,包括替换 VM、移除多尺度训练的副作用、应用学习率衰减等。相较于原始报告的 SRN 性能有所提升。
- ABINet-SV 与 SRN-SV 的比较:ABINet-SV 在多个数据集上优于 SRN-SV。
- ABINet-LV 的表现:当搭配更强的 VM 时,ABINet-LV 在六组数据中有五组优于同配置的 SRN-LV;IIIT 则是 96.2% 对 96.3%。
ABINet 在 MJ 和 ST 训练的情况下,尤其在 SVT、SVTP 和 IC15 这些数据集上表现突出。这些数据集中含有大量的低质量图像(如噪声和模糊图像),对于视觉模型来说识别具有挑战性,但 ABINet 借由语言信息的补充显著提升了识别效果。
ABINet 能够成功识别不规则字体和非标准排版的文字,这主要得益于语言信息对视觉特征的重要补充作用。即便没有图像校正,ABINet 也能在 CUTE 数据集中取得次佳表现,显示出在不规则文字上的良好识别能力。
消融实验-视觉模型
这里主要比较了不同的特征抽取和序列建模方法。
比起常见的平行注意力方法,作者所提出的「位置注意力」在表示键值向量方面更具表现力。
此外,升级视觉模型能显著提高准确性,但代价是增加了参数和计算成本。或是可以通过在特征抽取中使用位置注意力,以及在序列建模中使用更深层的 Transformer 来升级 VM。
消融实验-语言模型
- PVM:表示在 MJ 和 ST 数据集上以监督学习的方式预训练视觉模型(VM)。
- :表示在 MJ 和 ST 数据集上,以自我监督学习的方式预训练语言模型(LM)。
- :表示在 WikiText-103 数据集上,以自我监督学习的方式预训练语言模型。
- AGF(允许梯度流动):表示允许在视觉模型和语言模型之间进行梯度流动。
在监督学习的情境下预训练 VM(PVM)可以使六组基准的平均准确率提升 0.6~0.7 个百分点,显示出视觉模型预训练在这组实验中的效果。
的效果较小,这可能是由于这些数据集的文字数据在多样性和语言结构上的不足,无法提供足够丰富的语言信息。
的效果更佳,因为这个大型语料库能够显著提升 LM 对文字上下文的理解能力,即便在高准确度的模型中仍能进一步提升性能。
激活 AGF 会使模型平均准确率由 92.3% 降至 91.4%,下降 0.9 个百分点;训练损失却迅速下降。作者据此认为语言模型可能借助视觉模型的信息在训练中过拟合,因此阻断梯度流动有助于语言模型独立学习文字规律。
消融实验-双向策略
由于 BCN 是一种基于 Transformer 的变体,因此与其相似的 SRN 进行了比较。
为确保公平性,实验在相同条件下进行,唯一区别在于所使用的网络结构。作者使用 SV 和 LV 作为视觉模型(VM)来验证 BCN 在不同准确性水平下的效果。
- BCN vs. SRN-U:BCN 与 SRN 的单向版本(SRN-U)在参数数量和推理速度上相近,但 BCN 在不同的视觉模型下均具有竞争优势,表现出更高的准确性。
- BCN vs. 双向 SRN:相较于双向集成的 SRN,BCN 在 IC15 和 CUTE 等具挑战性的数据集上表现更佳。表中的推论时间在 SV 配置由 24.2 降至 19.5 毫秒、LV 配置由 26.9 降至 22.0 毫秒;代价是各配置仍需对照其准确率。
可视化分析
为理解 BCN 在 ABINet 中的工作方式,作者通过上图展示了「today」一词的前五大预测概率。
- 当输入为「-oday」或「tod-y」时,BCN 能高置信度地预测出「t」和「a」,并对最终的融合预测有正面贡献。
- 对于错误字符「l」和「o」,BCN 的信心较低,且对最终预测的影响较小。
- 若存在多个错误字符,则 BCN 难以恢复正确文字,因为缺乏足够的上下文支持。
结论
本篇论文在文字识别模型中引入了语言模型的分支。通过自主、双向和迭代的设计,ABINet 能够有效地提升文字识别的准确性和泛化性。实验结果表明,ABINet 在多个基准数据集上均取得了优异的表现,并且在不规则文字和低质量图像上具有显著的优势。