返回论文笔记资料库
arXiv 2019AAAI 2020文本识别论文笔记

DAN

不准在一起

原始论文

Decoupled Attention Network for Text Recognition

论文作者

Tianwei Wang · Yuanzhi Zhu · Lianwen Jin …

查看全部 8 位作者

Tianwei Wang · Yuanzhi Zhu · Lianwen Jin · Canjie Luo · Xiaoxue Chen · Yaqiang Wu · Qianying Wang · Mingxiang Cai

发表版本
AAAI 2020会议
arXiv 首次提交
arXiv:1912.10205
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitiondan2019,
  title = {{Decoupled Attention Network for Text Recognition}},
  author = {Tianwei Wang and Yuanzhi Zhu and Lianwen Jin and Canjie Luo and Xiaoxue Chen and Yaqiang Wu and Qianying Wang and Mingxiang Cai},
  year = {2019},
  eprint = {1912.10205},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1912.10205}
}
本页内容

早期的研究中,大多使用 CTC 算法来作为最后输出的解码器,而近年来则是流行用带有注意力图的结构。原因也很简单:效果通常比较好!

因此,帮模型加个注意力图几乎现在 STR 领域内的标准配置。

定义问题

可是注意力图,不准啊!

注意力遗失

作者梳理了过去的研究,发现注意力图的设计是基于特征图的,而不是基于文字的。

什么意思?请看下图:

在图中,上面是原始输入图像,下面是对应的注意力图。

注意力图的阅读方式比较特别,它带有序列信息,最左上角是第一个字,最右下角是最后一个字。一个好的注意力分布应该是一组呈现对角线的亮点,表示每个字都有对应的注意力区域。

回到上面的图,我们可以看到注意力图的分布并不是对角线,而是在某个区域上,突然跳到另一个区域。这表示模型在这个时间点上没有对应到正确的文字。

就作者分析,这是因为注意力图的设计是基于特征图的,按照上图中的例子:「ly」 这个词,在不同序列点上的特征图可能是相似的,因此序列模型就「迷失」了。

输出耦合

我们需要注意力图,目的是为了要帮助模型对齐文字与图像。

但对齐操作如果和解码操作绑在一起,这表示在学习的过程中,匹配对齐的结果一定会受到解码器的输出结果所影响。不可避免的导致错误累积和传播。


所以,对齐操作和解码操作,你们不准在一起!

作者如是说。

解决问题

模型架构

为了解决耦合的问题,作者提出了 DAN 架构,如上图。

这个架构的想法非常简单,就是为了注意力而单独设计一个分支,让这个分支来预测文字的位置。我们分阶段来看这个架构:

特征提取

这个部分是一个 CNN 网络,用来提取图像的特征,没什么好说的。

作者采用与前人研究类似的 CNN 特征编码器,而不是用标准的 ResNet,参数配置如下:

将输入图像 xx(尺寸 H×WH \times W)编码成特征图 FF:

F=F(x),F∈RC×H/rh×W/rwF = F(x), \quad F \in \mathbb{R}^{C \times H/r_h \times W/r_w}

其中,CC 是输出通道数,rhr_h 和 rwr_w 为高度和宽度的降采样比例。

对齐模块

卷积对齐模块,Convolutional Alignment Module,后续简称 CAM。

CAM 从特征编码器获取多尺度视觉特征,并通过阶层降采样卷积层进行处理。受到 FCN 的启发,CAM 进行逐通道的注意力运算;FCN 的每个通道代表一个类别的热图,CAM 则让每个通道对应一个解码步骤。

CAM 的结构包含 LL 层,在上采样(作者使用反卷积)阶段,每个输出特征与卷积阶段的对应特征图相加,最终通过 sigmoid 函数,对各通道的注意力图分别归一化:

A={α1,α2,…,αmaxT}A = \{ \alpha_1, \alpha_2, \dots, \alpha_{\text{maxT}} \}

这个 maxTmaxT 就是解码器的最大时序长度,每张注意力图的尺寸为 H/rh×W/rwH/r_h \times W/r_w。

在最后输入解码器的时候,每个解码步骤都有一张对应的注意力图,用来从视觉特征图聚合该字符区域的信息。

解耦式解码模块

传统的注意力解码器会同时进行对齐和识别,而 DAN 的解码器仅进行识别。

解码器以编码后的特征图和注意力图作为输入,计算时间步骤 tt 的上下文向量 ctc_t:

ct=∑x=1W/rw∑y=1H/rhαt,x,yFx,yc_t = \sum_{x=1}^{W/r_w} \sum_{y=1}^{H/r_h} \alpha_{t, x, y} F_{x, y}

分类器在时间步骤 tt 生成输出 yty_t:

yt=wht+by_t = w h_t + b

其中,hth_t 是 GRU 的隐藏状态:

ht=GRU((et−1,ct),ht−1)h_t = \text{GRU}((e_{t-1}, c_t), h_{t-1})

et−1e_{t-1} 为前一步解码结果 yt−1y_{t-1} 的嵌入向量。

DAN 的损失函数为:

Loss=−∑t=1Tlog⁡P(gt∣I,θ)\text{Loss} = -\sum_{t=1}^{T} \log P(g_t | I, \theta)

其中,θ\theta 为 DAN 中的所有可训练参数,gtg_t 为步骤 tt 的真实标签。

手写文字识别训练策略

选用两个验证用的数据集:

  1. IAM 手写数据集(IAM Dataset)

    • 基于 LOB 语料库的手写英文文字。
    • 训练集:747 份文档(6,482 行)
    • 验证集:116 份文档(976 行)
    • 测试集:336 份文档(2,915 行)
  2. RIMES 手写数据集(RIMES Dataset)

    • 包含手写法文信件。
    • 训练集:1,500 段落(11,333 行)
    • 测试集:100 段落(778 行)

在两个数据集中,使用整行文字的训练集,并采用开源数据增强工具进行训练。

将输入图像的高度归一化为 192,宽度依照原始比例缩放(最大至 2048)。为了将特征图降为 1D,在特征编码器的末端添加了一个尺寸为 3×13 \times 1 的卷积层。

将 maxTmaxT 设为 150,以涵盖最长的文字行。所有 CAM 的卷积层(除了最后一层)设置为 128 个通道,以处理最长的文字长度。

在 RIMES 测试时使用六种预定策略裁剪图像,例如 {10,10} 表示裁剪掉上方和下方各 10 行。将所有裁剪结果与原始图像进行识别,平均输出概率计算分数,并选择最高分数的结果作为最终结果。

性能指针使用 字符错误率(CER%) 和 单词错误率(WER%) 作为评估指针:

CER / WER=编辑距离标准答案中的字符数 / 单词数\text{CER / WER} = \frac{\text{编辑距离}}{\text{标准答案中的字符数 / 单词数}}

编辑距离计算识别结果与真实标签之间的差异。

实验过程中未使用任何语言模型或词典,确保模型性能的纯粹性。

场景文字识别训练策略

选用七个常见的场景文字数据集:

  1. 规则场景文字数据集:

    • IIIT5K-Words:来自网络,共有 3,000 张裁剪后的单字图像。
    • Street View Text (SVT):来自 Google Street View,共 647 张单字图像。
    • ICDAR 2003 (IC03):包含 251 张标注有文字框的场景图像,总计 867 张裁剪图像。
    • ICDAR 2013 (IC13):基于 IC03 扩展而来,共 1,015 张裁剪图像,无词典辅助。
  2. 不规则场景文字数据集:

    • SVT-Perspective (SVT-P):来自 Google Street View 的侧视角图像,共 639 张裁剪图像。
    • CUTE80:专注于曲线文字,包含 80 张高分辨率自然场景图像,共 288 张裁剪图像。
    • ICDAR 2015 (IC15):包含 2,077 张裁剪图像,其中大部分为模糊且多方向的图像。

训练数据使用两组合成文字数据集 MJSynth 和 SynthText。输入图像大小高度设为 32,宽度根据原始比例缩放(最大至 128)。

其他模型参数设置:

  • maxT=25maxT = 25,表示最大输出步骤为 25。
  • CAM 的深度 L=8L = 8,除了最后一层外,其余层的通道数设为 64。
  • 使用 bi-directional decoder 进行最终预测。
  • 采用 ADADELTA 进行优化,初始学习率为 1.0,第三轮后降为 0.1。

讨论

手写文字识别性能

  • IAM 数据集:

    • DAN 在 CER 上优于先前的 SOTA 模型,降低 1.5 个百分点(7.9% 至 6.4%)。
    • WER:虽然 (Bhunia et al., 2019) 的模型在 WER 上表现较佳,但他们的模型需要裁剪后的单字图像,而 DAN 能直接识别整行文字,显示出更大的应用弹性。
  • RIMES 数据集:

    • CER:DAN 为 2.7%,比表中先前最低的 2.9% 低 0.2 个百分点。
    • WER:相对于 SOTA,降低 3.7 个百分点(12.6% 至 8.9%,相对误差减少约 29%)。
    • 作者认为 WER 的改进反映了模型学习语意信息的能力,对长文字识别有帮助。

消融实验

在测试的输出长度 150、200、250 下,WER/CER 几乎相同;TITAN X GPU 上每次前向推论时间由 188.7 增至 190.5 毫秒。只要设置的输出长度合理(长于文字本身),这组实验中的 DAN 性能变化很小。

随着深度 L 的减少,DAN 的性能「显著下降」,表明 CAM 需要足够的深度来达到良好的对齐效果。要成功对齐一个字符,CAM 的感受野(receptive field)必须足够大,以覆盖该字符及其相邻区域的特征。

对齐错误分析

分析方式为找出具有最大注意力分数的区域作为「注意力中心」。

若当前的注意力中心位于上一个中心的「左侧」,记录为一次错误对齐。将测试样本根据文字长度分为五组:[0, 30)、[30, 40)、[40, 50)、[50, 60)、[60, 70),每组包含超过 100 个样本。每组的错误对齐数据加总后,计算每张图像的平均错误对齐次数(MM/img)。

结果显示 CER 改进与错误对齐减少的趋势大致一致,支持作者将性能提升归因于减少错误对齐的解释。

下图显示了 DAN 消除错误对齐的范例,最上层是输入图像,中间是基于传统注意力机制的对齐结果,最下层是 DAN 的对齐结果。

识别错误分析

作者展示了 DAN 的错误范例,如上图:

  1. (a):字符「p」被错误识别为「e」,原因是手写风格让两者难以区分。即使对人类而言,若无上下文也难以判断。
  2. (b):由于两个单词之间的距离过近,导致识别器忽略了空格符号。
  3. (c):一些杂讯纹理被 DAN 错误识别为文字。

DAN 在这些错误案例中仍展现出比传统注意力机制更强的强健性,在杂讯干扰的情况下,传统注意力容易出现不可预测的错误,因为对齐操作被干扰。而 DAN 即使产生额外结果,也能保持对齐的稳定性。

场景文字识别性能

  • 规则场景文字识别:

    • 在 IIIT5K 和 IC03 上,DAN 达到最新的 SOTA 性能。
    • 在 SVT 和 IC13 上,DAN 与 SOTA 模型表现相近,略有差距。
    • DAN-1D 在 IC03 和 IC13 上表现更佳,因为这些数据集的图像干净且规则。
  • 不规则场景文字识别:

    • DAN-2D 在 SVT-P 和 CUTE80 上达到 SOTA 性能,并且在 2D 模型中表现最佳。

稳健性研究

作者在 IIIT5K 和 IC13 数据集上进行扰动测试,并将 DAN 与 CA-FCN 比较。

上表中作者使用了多种不同的扰动策略:

  1. IIIT-p:重复边界像素,将图像垂直和水平各填充 10% 的高度和宽度。
  2. IIIT-r-p:
    • 沿高度与宽度随机拉伸图像的四个顶点(最大至 20%)。
    • 使用边界像素填充成四边形图像,并转回对齐的矩形图像。
  3. IC13-ex:在裁剪前将文字框扩展 10%。
  4. IC13-r-ex:沿高度与宽度随机扩展文字框(最大 20%)形成四边形,再裁剪其外接的轴对齐矩形。

以相对准确率下降比例比较,DAN-1D 在 IIIT-p、IC13-ex 较稳定;DAN-2D 另在 IC13-r-ex 略优,但两者在 IIIT-r-p 都不如 CA-FCN。

结论

作者从一开始就明确的指出了注意力图的问题,并提出了解耦式的解决方案。

DAN 在文字识别任务中展现了其独特的价值,凭借其灵活性、稳健性及高性能,成为解决对齐错误的一个有效工具。虽然 DAN 在面对纹理相近的杂讯时仍有改善空间,但其简单的架构和无需词典的设计,让它在各类文字识别任务中都能达到良好的效果。