On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
- 发表版本
- CVPR Workshops 2020研讨会(Workshop)
- arXiv 首次提交
- arXiv:1910.04396
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitionsatrn2019,
title = {{On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention}},
author = {Junyeop Lee and Sungrae Park and Jeonghun Baek and Seong Joon Oh and Seonghyeon Kim and Hwalsuk Lee},
year = {2019},
eprint = {1910.04396},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1910.04396}
}
Transformer 在发表后的几年间,这阵风也陆续吹进了不同的领域。
这篇论文是 Clova AI 发表的,他们也想将 Transformer 的优势引入 Scene Text Recognition (STR) 领域,或许能解决一些问题。
定义问题
任意形状的文字仍困扰著广大的研究者们。
虽然在过去几年间,陆续有人提出一些解决方案,但这些方法的表现仍然不够理想。特别是多数研究都还是基于文字水平排列的假设,这导致模型泛化能力有限。
此时此刻,Transformer 已经发表了两年多,BERT 已经在 NLP 领域大杀四方,作者想著:或许 Transformer 的注意力机制能够帮助我们解决这个问题。
解决问题
模型架构
作者提出了模型架构,看起来就是一个标准的 Transformer,但针对 STR 任务进行了一些改良。Transformer 的架构我们不再重复讨论了,如果你对它不熟悉,可以参考:
在编码器的部分,输入图像首先经过浅层卷积神经网络 (CNN) 提取局部图像模式与纹理,以减轻自注意力模块的计算负担。此 CNN 包含两个 卷积层,每层后面各接一个步长为 2 的 最大池化层。
自注意力模块基于 Transformer 自注意力,并使用自适应 2D 位置编码,以处理文字的随机排列问题。
FFN 的部分,作者提出了一个新的局部感知前馈层 (Locality-aware Feedforward Layer),以增强对局部结构的关注:在原生的点对点前馈层中加入 深度卷积,保留 卷积来处理通道。
解码器的部分,从编码器的 2D 特征图中提取文字序列。
解码过程中,图像输入与文字输出的跨模态在第二个多头注意力模块中实现。解码器的结构大部分与 Transformer 解码器相同,主要使用多头注意力和点对点前馈层。
讨论
和先前方法的比较
SATRN 相较于表中其他 2D 特征图方法,在有报告成绩的基准测试上表现更佳。三个不规则文字测试集 IC15、SVTP、CT80,相对各栏先前最高成绩分别提升 2.1、6.9、4.5 个百分点。
这个架构在处理任意形状的文字辨识上具有优势;但在一般文字的 IIIT5K 和 SVT,使用空间变换网络(STN)的 ASTER 成绩仍高于 SATRN。
和 SAR 模型的比较
SATRN 与 SAR 模型在编码器(自注意力 vs 卷积网络)与解码器(自注意力 vs LSTM)上有显著区别。SAR 使用 ResNet 编码器与 LSTM 解码器,而 SATRN 采用了自注意力编码器与解码器。
只将 SAR 的 ResNet 编码器换成 SATRN 编码器时,搭配 LSTM 或 SATRN 解码器,准确率分别提升 1.0 和 0.9 个百分点,且都减少了 1200 万参数和 5.5B FLOPs。完整 SATRN 相比 SAR 则是 89.2% 对 87.9%,但 FLOPs 从 21.9B 增至 35.9B。
多行文本辨识
为了更具体地评估模型在不同形状扭曲下的表现,作者另外测试了旋转与多行文字。
旋转文字的部分,作者使用了从 0° 到 360° 均匀分布的旋转进行训练,并将输入图像调整为 64×64 尺寸;多行文字的部分,作者使用合成文字数据集(SynthText 与 MJSynth)进行模型训练,并从 IC13 中手动裁剪出多行文字图像用于测试。
在实验中,SATRN 在所有旋转角度下的表现都优于基准模型 FAN 和 SAR,并且在各种旋转角度下保持稳定的性能。在多行文字辨识上,SATRN 在推理过程中能够进行大范围跳转,从当前行转移到下一行,展现了其优异的表现。
下图展示 SATRN 解码器在提取 2D 特征时的注意力图:
消融研究
- 自适应 2D 位置编码 (A2DPE):相比不使用位置编码、1D 位置编码和 2D 拼接编码,A2DPE 在这组消融中准确率最高(86.5%),会依图像特徵调整高、宽位置编码的权重。
- 特征图高度的影响:随着特征图的尺寸缩减,运算量与准确度均下降,尤其当高度下采样率超过 1/8 时,准确度急剧下降,这强调了在计算过程中保持 2D 特征图的重要性。
结论
SATRN 验证了在 STR 任务中使用 Transformer 的有效性,并且在多项基准测试中都达到了新的最先进表现,平均提升 5.7 个百分点。
虽然 SATRN 提升了准确度,但自注意力层的使用导致模型在记忆体和运算需求上有所增加,特别是解码器部分增加了显著的 FLOPs 和参数量,但这显然不是问题!
后续研究可以进一步研究如何减少模型的计算量,以应用于更多的实际应用场景。