Decoupled Attention Network for Text Recognition
- 发表版本
- AAAI 2020会议
- arXiv 首次提交
- arXiv:1912.10205
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitiondan2019,
title = {{Decoupled Attention Network for Text Recognition}},
author = {Tianwei Wang and Yuanzhi Zhu and Lianwen Jin and Canjie Luo and Xiaoxue Chen and Yaqiang Wu and Qianying Wang and Mingxiang Cai},
year = {2019},
eprint = {1912.10205},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1912.10205}
}
早期的研究中,大多使用 CTC 算法来作为最后输出的解码器,而近年来则是流行用带有注意力图的结构。原因也很简单:效果通常比较好!
因此,帮模型加个注意力图几乎现在 STR 领域内的标准配置。
定义问题
可是注意力图,不准啊!
注意力遗失
作者梳理了过去的研究,发现注意力图的设计是基于特征图的,而不是基于文字的。
什么意思?请看下图:
在图中,上面是原始输入图像,下面是对应的注意力图。
注意力图的阅读方式比较特别,它带有序列信息,最左上角是第一个字,最右下角是最后一个字。一个好的注意力分布应该是一组呈现对角线的亮点,表示每个字都有对应的注意力区域。
回到上面的图,我们可以看到注意力图的分布并不是对角线,而是在某个区域上,突然跳到另一个区域。这表示模型在这个时间点上没有对应到正确的文字。
就作者分析,这是因为注意力图的设计是基于特征图的,按照上图中的例子:「ly」 这个词,在不同序列点上的特征图可能是相似的,因此序列模型就「迷失」了。
输出耦合
我们需要注意力图,目的是为了要帮助模型对齐文字与图像。
但对齐操作如果和解码操作绑在一起,这表示在学习的过程中,匹配对齐的结果一定会受到解码器的输出结果所影响。不可避免的导致错误累积和传播。
所以,对齐操作和解码操作,你们不准在一起!
作者如是说。
解决问题
模型架构
为了解决耦合的问题,作者提出了 DAN 架构,如上图。
这个架构的想法非常简单,就是为了注意力而单独设计一个分支,让这个分支来预测文字的位置。我们分阶段来看这个架构:
特征提取
这个部分是一个 CNN 网络,用来提取图像的特征,没什么好说的。
作者采用与前人研究类似的 CNN 特征编码器,而不是用标准的 ResNet,参数配置如下:
将输入图像 (尺寸 )编码成特征图 :
其中, 是输出通道数, 和 为高度和宽度的降采样比例。
对齐模块
卷积对齐模块,Convolutional Alignment Module,后续简称 CAM。
CAM 从特征编码器获取多尺度视觉特征,并通过阶层降采样卷积层进行处理。受到 FCN 的启发,CAM 进行逐通道的注意力运算;FCN 的每个通道代表一个类别的热图,CAM 则让每个通道对应一个解码步骤。
CAM 的结构包含 层,在上采样(作者使用反卷积)阶段,每个输出特征与卷积阶段的对应特征图相加,最终通过 sigmoid 函数,对各通道的注意力图分别归一化:
这个 就是解码器的最大时序长度,每张注意力图的尺寸为 。
在最后输入解码器的时候,每个解码步骤都有一张对应的注意力图,用来从视觉特征图聚合该字符区域的信息。
解耦式解码模块
传统的注意力解码器会同时进行对齐和识别,而 DAN 的解码器仅进行识别。
解码器以编码后的特征图和注意力图作为输入,计算时间步骤 的上下文向量 :
分类器在时间步骤 生成输出 :
其中, 是 GRU 的隐藏状态:
为前一步解码结果 的嵌入向量。
DAN 的损失函数为:
其中, 为 DAN 中的所有可训练参数, 为步骤 的真实标签。
手写文字识别训练策略
选用两个验证用的数据集:
-
IAM 手写数据集(IAM Dataset)
- 基于 LOB 语料库的手写英文文字。
- 训练集:747 份文档(6,482 行)
- 验证集:116 份文档(976 行)
- 测试集:336 份文档(2,915 行)
-
RIMES 手写数据集(RIMES Dataset)
- 包含手写法文信件。
- 训练集:1,500 段落(11,333 行)
- 测试集:100 段落(778 行)
在两个数据集中,使用整行文字的训练集,并采用开源数据增强工具进行训练。
将输入图像的高度归一化为 192,宽度依照原始比例缩放(最大至 2048)。为了将特征图降为 1D,在特征编码器的末端添加了一个尺寸为 的卷积层。
将 设为 150,以涵盖最长的文字行。所有 CAM 的卷积层(除了最后一层)设置为 128 个通道,以处理最长的文字长度。
在 RIMES 测试时使用六种预定策略裁剪图像,例如 {10,10} 表示裁剪掉上方和下方各 10 行。将所有裁剪结果与原始图像进行识别,平均输出概率计算分数,并选择最高分数的结果作为最终结果。
性能指针使用 字符错误率(CER%) 和 单词错误率(WER%) 作为评估指针:
编辑距离计算识别结果与真实标签之间的差异。
实验过程中未使用任何语言模型或词典,确保模型性能的纯粹性。
场景文字识别训练策略
选用七个常见的场景文字数据集:
-
规则场景文字数据集:
- IIIT5K-Words:来自网络,共有 3,000 张裁剪后的单字图像。
- Street View Text (SVT):来自 Google Street View,共 647 张单字图像。
- ICDAR 2003 (IC03):包含 251 张标注有文字框的场景图像,总计 867 张裁剪图像。
- ICDAR 2013 (IC13):基于 IC03 扩展而来,共 1,015 张裁剪图像,无词典辅助。
-
不规则场景文字数据集:
- SVT-Perspective (SVT-P):来自 Google Street View 的侧视角图像,共 639 张裁剪图像。
- CUTE80:专注于曲线文字,包含 80 张高分辨率自然场景图像,共 288 张裁剪图像。
- ICDAR 2015 (IC15):包含 2,077 张裁剪图像,其中大部分为模糊且多方向的图像。
训练数据使用两组合成文字数据集 MJSynth 和 SynthText。输入图像大小高度设为 32,宽度根据原始比例缩放(最大至 128)。
其他模型参数设置:
- ,表示最大输出步骤为 25。
- CAM 的深度 ,除了最后一层外,其余层的通道数设为 64。
- 使用 bi-directional decoder 进行最终预测。
- 采用 ADADELTA 进行优化,初始学习率为 1.0,第三轮后降为 0.1。
讨论
手写文字识别性能
-
IAM 数据集:
- DAN 在 CER 上优于先前的 SOTA 模型,降低 1.5 个百分点(7.9% 至 6.4%)。
- WER:虽然 (Bhunia et al., 2019) 的模型在 WER 上表现较佳,但他们的模型需要裁剪后的单字图像,而 DAN 能直接识别整行文字,显示出更大的应用弹性。
-
RIMES 数据集:
- CER:DAN 为 2.7%,比表中先前最低的 2.9% 低 0.2 个百分点。
- WER:相对于 SOTA,降低 3.7 个百分点(12.6% 至 8.9%,相对误差减少约 29%)。
- 作者认为 WER 的改进反映了模型学习语意信息的能力,对长文字识别有帮助。
消融实验
在测试的输出长度 150、200、250 下,WER/CER 几乎相同;TITAN X GPU 上每次前向推论时间由 188.7 增至 190.5 毫秒。只要设置的输出长度合理(长于文字本身),这组实验中的 DAN 性能变化很小。
随着深度 L 的减少,DAN 的性能「显著下降」,表明 CAM 需要足够的深度来达到良好的对齐效果。要成功对齐一个字符,CAM 的感受野(receptive field)必须足够大,以覆盖该字符及其相邻区域的特征。
对齐错误分析
分析方式为找出具有最大注意力分数的区域作为「注意力中心」。
若当前的注意力中心位于上一个中心的「左侧」,记录为一次错误对齐。将测试样本根据文字长度分为五组:[0, 30)、[30, 40)、[40, 50)、[50, 60)、[60, 70),每组包含超过 100 个样本。每组的错误对齐数据加总后,计算每张图像的平均错误对齐次数(MM/img)。
结果显示 CER 改进与错误对齐减少的趋势大致一致,支持作者将性能提升归因于减少错误对齐的解释。
下图显示了 DAN 消除错误对齐的范例,最上层是输入图像,中间是基于传统注意力机制的对齐结果,最下层是 DAN 的对齐结果。
识别错误分析
作者展示了 DAN 的错误范例,如上图:
- (a):字符「p」被错误识别为「e」,原因是手写风格让两者难以区分。即使对人类而言,若无上下文也难以判断。
- (b):由于两个单词之间的距离过近,导致识别器忽略了空格符号。
- (c):一些杂讯纹理被 DAN 错误识别为文字。
DAN 在这些错误案例中仍展现出比传统注意力机制更强的强健性,在杂讯干扰的情况下,传统注意力容易出现不可预测的错误,因为对齐操作被干扰。而 DAN 即使产生额外结果,也能保持对齐的稳定性。
场景文字识别性能
-
规则场景文字识别:
- 在 IIIT5K 和 IC03 上,DAN 达到最新的 SOTA 性能。
- 在 SVT 和 IC13 上,DAN 与 SOTA 模型表现相近,略有差距。
- DAN-1D 在 IC03 和 IC13 上表现更佳,因为这些数据集的图像干净且规则。
-
不规则场景文字识别:
- DAN-2D 在 SVT-P 和 CUTE80 上达到 SOTA 性能,并且在 2D 模型中表现最佳。
稳健性研究
作者在 IIIT5K 和 IC13 数据集上进行扰动测试,并将 DAN 与 CA-FCN 比较。
上表中作者使用了多种不同的扰动策略:
- IIIT-p:重复边界像素,将图像垂直和水平各填充 10% 的高度和宽度。
- IIIT-r-p:
- 沿高度与宽度随机拉伸图像的四个顶点(最大至 20%)。
- 使用边界像素填充成四边形图像,并转回对齐的矩形图像。
- IC13-ex:在裁剪前将文字框扩展 10%。
- IC13-r-ex:沿高度与宽度随机扩展文字框(最大 20%)形成四边形,再裁剪其外接的轴对齐矩形。
以相对准确率下降比例比较,DAN-1D 在 IIIT-p、IC13-ex 较稳定;DAN-2D 另在 IC13-r-ex 略优,但两者在 IIIT-r-p 都不如 CA-FCN。
结论
作者从一开始就明确的指出了注意力图的问题,并提出了解耦式的解决方案。
DAN 在文字识别任务中展现了其独特的价值,凭借其灵活性、稳健性及高性能,成为解决对齐错误的一个有效工具。虽然 DAN 在面对纹理相近的杂讯时仍有改善空间,但其简单的架构和无需词典的设计,让它在各类文字识别任务中都能达到良好的效果。