返回论文笔记资料库
arXiv 2022CVPR 2023文本识别论文笔记

SIGA

字形注意力机制

原始论文

Self-supervised Implicit Glyph Attention for Text Recognition

论文作者

Tongkun Guan · Chaochen Gu · Jingzheng Tu …

查看全部 8 位作者

Tongkun Guan · Chaochen Gu · Jingzheng Tu · Xue Yang · Qi Feng · Yudi Zhao · Xiaokang Yang · Wei Shen

发表版本
CVPR 2023会议
arXiv 首次提交
arXiv:2203.03382
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionsiga2022,
  title = {{Self-supervised Implicit Glyph Attention for Text Recognition}},
  author = {Tongkun Guan and Chaochen Gu and Jingzheng Tu and Xue Yang and Qi Feng and Yudi Zhao and Xiaokang Yang and Wei Shen},
  year = {2022},
  eprint = {2203.03382},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2203.03382}
}
本页内容

尽管引入语言模型已经是这个领域的主流手法,但还是有人愿意另辟蹊径来改善 STR 的问题。

在这篇论文中,作者尝试对「字形」进行一系列的研究,并得到相当不错的结果。

定义问题

关于 STR 的论文,我们也看过好几篇了。

过去的研究中,注意力的方法大致上分为两类:

  1. 隐式注意力 (Implicit Attention):指通过序列层级的文本标注,对一维或二维空间的所有位置进行注意力权重计算。这种方法的缺点是可能会出现对齐漂移的问题。
  2. 监督式注意力 (Supervised Attention):利用字符边框标注来生成字符分割图。这种方法的缺点是需要大量字符层级的标注数据,且在面对大型字符类别时较耗内存。

怎么好像都不太好?

于是作者决定从「字形」的角度来思考这个问题。每个字符都有自己的字形,而字形之间的关系也是有规律可循的。如果能够利用这些规律,或许能够更好地找到文本的特征。

基于这个想法,作者提出了「自监督的隐式字形注意力 (Self-Supervised Implicit Glyph Attention, SIGA)」。这种方法可以通过自监督的文本分割与隐式注意力对齐,生成字形结构,并在训练过程中提升注意力的准确性。

意思就是在上面两个解题方向中,作者选了第一个,也就是隐式注意力,并且在这个基础上加入了一些自监督的机制。

具体是怎么做的呢?我们接着看下去。

解决问题

模型架构

上图就是 SIGA 的模型架构。

整个架构图有点复杂,我们把它拆解成几个部分来看。

Backbone

这大概是最没有问题的部分了,这里可使用 ResNet、SVTR 或 ViT 作为特征提取器。

输入图像经过特征提取器后,会得到一个特征图,这个特征图会分别送入后续的分支中。

字形伪标签构建

原文为 Glyph Pseudo-label Construction (GPC),这个部分是 SIGA 的核心。

这边首先做的是自监督的文本分割,我们用红框标示的部分。

作者直接从文本图像的内部结构进行 K-means 聚类,直接得到文本掩码的伪标签,这样做的好处是可以跳过耗时的像素级标注。

聚类算法可以直接设置分两类,分为前景和背景。根据作者实验显示,大多数的文本图像中都可以良好地聚类出字形的形态结构。

随后,作者通过文本分割网络,从自监督的分割结果中提取文本前景特征。

在上图没有画清楚,这里作者直接写在论文中,具体做法是将 ResNet 模型中 Conv 0、Block 0 和 Block 1 的输出分别定义为 P0P_0、P1P_1 和 P2P_2,并应用自上而下的金字塔结构来集成特征:

{O2=ϕ(P2),O1=ϕ([T(O2,s1),P1]),O0=ϕ([T(O1,s0),P0]),\begin{cases} O_2 = \phi(P_2), \\ O_1 = \phi([T(O_2, s_1), P_1]), \\ O_0 = \phi([T(O_1, s_0), P_0]), \end{cases}

其中 ϕ(⋅)\phi(\cdot) 表示包含批量正则化(BatchNorm)和 ReLU 激活函数的两层卷积,T(⋅)T(\cdot) 表示一个对 OkO_k 进行 2 倍上采样的操作,sks_k 为其分辨率(即Hk×WkH_k \times W_k),而 [⋅][\cdot] 表示沿通道轴的串接操作。

最后,利用二元分类卷积层将 O0O_0 生成文本分割掩码 SmS_m。

作者通过二元交叉熵损失 LinsL_{ins} 将 SmS_m 与伪标签 SplS_{pl} 匹配,以优化文本分割网络,使其在具挑战性的文本图像中能够识别字形的形态结构。

这里的结果做起来像这样:

其中 (a) 是原图,(b) 是聚类得到的伪标签,(c) 是文本分割网络的预测结果。

我们可以看到有些地方的分割网络的预测结果比伪标签还要好!

隐式注意力对齐

还是同一张图,但这次是另外一个部分:注意力对齐,我们同样用红框标示。

在解码单元中,隐式注意力权重 α={αt}t=1,...,T\alpha = \{\alpha_t\}_{t=1,...,T} 用于捕捉编码序列中重要的字符依赖关系。

但解码器的时间信息在后续解码步骤中容易被「其他信息所干扰」,导致对齐漂移的问题。

为了解决这一问题,作者施加了一种「正交约束」,让不同解码步骤的注意力权重尽量不重叠,并搭配文本分割掩码的差异损失,提高字符位置对齐的准确性。

该方法的步骤如下:

  1. 计算注意力内积总和 ScorS_{cor}:

    作者计算不同解码步骤注意力向量 αt\alpha_t 两两内积的总和,并以损失函数压低它,鼓励不同字符的注意力向量彼此正交,减少位置重叠。

    举例来说,假设我们有一个包含 3 个字符的图像,则会有 3 个注意力向量 α1,α2,α3\alpha_1, \alpha_2, \alpha_3。正交约束会降低 α1\alpha_1 与 α2\alpha_2 的内积,减少两个步骤注意力范围的重叠;正确对齐仍要靠后续与文本掩码的约束。

  2. 生成字符显著性图 SsalS_{sal}:

    接下来,作者从每个注意力向量 αt\alpha_t 生成对应的字符显著性图。通过一维线性插值(ξ\xi函数)将每个 αt\alpha_t 的分布映射到图像宽度 WW 上,得到 βt\beta_t,再以非线性函数 σ\sigma 将其映射到 [0,1][0,1]。各步骤的 σ(βt)\sigma(\beta_t) 与文本分割掩码 SmS_m 逐位置相乘后加总,形成 SsalS_{sal}。

    假设我们有一个宽度为 10 的图像,注意力向量 αt\alpha_t 经过插值转换为 βt\beta_t 后,会在图像上产生对应字符的位置权重,例如对应于图像宽度上第 3 到第 5 个像素的区域,表示模型认为该字符位于此范围。

  3. 优化损失函数 LseqL_{seq}:

    • LcorL_{cor}:这项损失就是注意力向量的内积总和 ScorS_{cor};最小化它能鼓励不同字符的注意力向量趋于正交,减少对齐漂移。
    • LdifL_{dif}:这项损失度量了 SmS_m(自监督得到的文本前景掩码)和 SsalS_{sal}(生成的字符显著性图)之间的差异。最小化 LdifL_{dif} 使各字符显著性加总后更接近文本前景区域。

    比方说,如果文本前景掩码在图像宽度的第 5 到第 8 像素有字符区域,SsalS_{sal} 的对应位置也应该覆盖这个范围。通过最小化 LdifL_{dif},模型会调整注意力,使生成的显著性图更接近文本前景。

字形伪标签构建

如上图展示,将对齐后的注意力权重 βt\beta_t 与文本分割掩码 SmS_m 逐位置相乘,以生成对应字符的字形伪标签。此运算依每个字符的注意力位置,选出分割掩码中的前景区域(即字符的形状)。

假设 SgtS_{gt} 为字形伪标签,通过下述串接操作构建 SgtS_{gt}:

Sgt=[1−Sm,1[β1≥δ]⋅Sm,...,1[βT≥δ]⋅Sm]S_{gt} = [1 - S_m, 1[\beta_1 \geq \delta] \cdot S_m, ..., 1[\beta_T \geq \delta] \cdot S_m]

其中:

  • 1−Sm1 - S_m 表示将 SmS_m 中的背景区域标示出来。
  • 1[βt≥δ]⋅Sm1[\beta_t \geq \delta] \cdot S_m 用来选取出字符的前景区域,并根据每个注意力权重 βt\beta_t(只保留不小于阈值 δ\delta 的部分)来确定字符的位置。
  • [⋅][ \cdot ] 表示沿通道轴进行串接操作,因此 SgtS_{gt} 包含了多个通道,每个通道对应于文本中的不同字符位置。

在实验中,阈值 δ\delta 设为 0.05。这表示当 βt\beta_t 中元素的值不小于 0.05 时,对应的文本前景像素才保留到该字符的 SgtS_{gt} 通道中。这样的设计有助于滤除低置信度的位置。

在测试阶段,该字形伪标签构建模块会被移除,表示在测试时,模型将不依赖字形伪标签的生成,而是直接根据已训练的权重进行预测。

字形注意力网络

原文为 Glyph Attention Network (GLAN)。

还记得刚才上面提到的数学式的部分吗?

复习一下,这一段:

O0O_0 的部分在上一节被拿去产生文本前景掩码,再用于构建「字形伪标签」。

现在要使用 O1O_1 和 O2O_2 来做「字形注意力网络(GLAN)」。

GLAN 生成的字形注意力图是固定长度且与字符类别无关的通道,每个特定通道对应于特定顺序的字形注意力。

这里的做法是:通过数层卷积层的处理,将特征 OkO_k 被用来预测字形注意力图 SgamS_{gam},其通道数设置为 Ns=1+MN_s = 1 + M,而非字符类别数。其中 1 代表背景类别,MM 则代表文本图像中的最大字符数(例如设为 26)。

接着,通过构建的字形伪标签 SgtS_{gt} 作为监督信号,这里采用多类 Dice 损失(multi-class Dice loss)和交叉熵损失的联合损失函数来提升字形注意力网络的分割性能。

公式如下:

{Ldice=1L∑j=2L+1(1−2∑i=1n(ωj,iωj,i∗)∑i=1nωj,i+∑i=1nωj,i∗),Lcel=−1n∑i=1n(ρilog⁡(∑j=2M+1ωj,i∗)+(1−ρi)log⁡(1−∑j=2M+1ωj,i∗)),Lseg=Ldice+Lcel,\begin{cases} L_{dice} = \frac{1}{L} \sum_{j=2}^{L+1} \left( 1 - \frac{2 \sum_{i=1}^n (\omega_{j,i} \omega^*_{j,i})}{\sum_{i=1}^n \omega_{j,i} + \sum_{i=1}^n \omega^*_{j,i}} \right), \\ L_{cel} = -\frac{1}{n} \sum_{i=1}^n \left( \rho_i \log\left(\sum_{j=2}^{M+1} \omega^*_{j,i}\right) + (1 - \rho_i) \log\left(1 - \sum_{j=2}^{M+1} \omega^*_{j,i}\right) \right), \\ L_{seg} = L_{dice} + L_{cel}, \end{cases}

其中,ωj,i\omega_{j,i} 和 ωj,i∗\omega^*_{j,i} 分别为字形伪标签 SgtS_{gt} 与字形注意力图 SgamS_{gam} 中第 jj 通道对应的第 ii 像素 pip_i 的置信分数,而 ρi\rho_i 为 SmS_m 中像素pip_i 的置信分数。LL 表示文本图像中的字符数。

基于注意力的字符融合模块

原文为 Attention-based Character Fusion Module,如上图红框所示。

如前所述,在解码步骤 tt 中,视觉对齐的「glimpse」 gtg_t 与字形特征 Ik,tI_{k,t} 代表了两种不同的字符特征表现。

考量到它们在不同的文本图像中对场景文本识别 (STR) 的贡献可能有所不同,作者在此设计动态地融合序列特征 Ik,tI_{k,t} 与 gtg_t,以丰富字符识别的语义信息。根据当前图像中的不同字符特征权重来自适应地调整 Ik,tI_{k,t} 和 gtg_t 的比例,使模型能够从两种特征来源中提取更多有效的信息。

这样的设计确保模型在进行字符识别时,能够更灵活地结合视觉和字形特征,实现更为精确的识别效果。

讨论

与其他方法的比较

语言无关的文本识别方法主要依赖视觉信息来识别文本。

上表展示 SIGAR 与现有语言无关模型的比较结果,并按骨干网络类型排列;各方法的输入尺寸与其他设置仍有差异。

  • CNN 方法

    SIGAR 在七个上下文基准的多个数据分割上取得领先表现;SVT、IC15-2077、SP 等栏仍有其他方法更高。

    与监督式注意力方法(如 CA-FCN 和 TextScanner)相比,SIGAR 不需要额外的字符层级标注;在表中双方都有数字的字段,准确率高出 2.0 至 11.8 个百分点。

    与隐式注意力方法相比,SIGAR 也展现出更优越的表现,并在以下字段超越了表中次高结果:IIIT(0.3 个百分点)、IC03-860(0.7)、IC03-867(0.8)、IC13-857(0.6)、IC13-1015(0.5)和 IC15-1811(1.1)。

    作者还使用 SVTR 作为骨干网络,结果显示 SIGAS 在其报告的六个字段中有四个准确率更高,按样本数加权的平均准确率提高了 0.63 个百分点;IC13-857 和 CT 则较低。

  • Transformer 方法

    SIGAT 展现出显著的优势,在 IIIT、SVT、IC03-860、IC03-867、IC13-857、IC13-1015 和 CT 基准数据集上取得了最新的最佳结果。

    这些结果表明,通过引入字形注意力,SIGA 能够成功提取出更具区分性的视觉特征,从而在上下文基准数据集上展现出色的表现。


语言模型的语义推理任务可以根据语境修正视觉输出,从而减少预测错误,提升上下文基准数据集上的整体识别准确性。

如上表所示,在与这些语言相关模型进一步比较后,SIGAR 在大多数标准基准数据集上取得了有竞争力的结果。而即便不使用语义推理任务,SIGAT 在八个基准数据集中的六个基准上取得了最佳准确率。

SIGAT 在 SVT、IC13-857、SP 和 CT 基准数据集上的准确率,分别比表中次高者高 1.5、0.4、1.2 和 0.9 个百分点。这意味着即便是单纯基于视觉模型,仍然可以在这些上下文基准数据集上表现良好。

可视化分析

上图中,(a) 和 (b) 中的图分别由代表性的隐式注意力方法 ABINet 和 SIGA 生成。

SIGA 的方法能感知字形的细致结构信息,特别是当文本图像中字形非常模糊时(如第五组),SIGA 方法仍能退化为与其他 STR 模型相同的注意力形式。

结论

这篇论文首次在 STR 领域中深入探索字形结构对文本识别的影响,为基于注意力的文本识别模型带来了全新的视角。

通过结合自监督的文本分割与隐式注意力对齐,SIGA 自动生成字形伪标签作为模型的注意力监督,从而克服了传统模型对字符层级标注的依赖,显著提高了字形结构的对齐与聚焦精度。这将促使后续研究考虑更多文本的视觉细节特征来提升模型识别能力。