返回论文笔记资料库
arXiv 2020CVPR 2020文本检测论文笔记

DRRG

初探图卷积

原始论文

Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

论文作者

Shi-Xue Zhang · Xiaobin Zhu · Jie-Bo Hou …

查看全部 7 位作者

Shi-Xue Zhang · Xiaobin Zhu · Jie-Bo Hou · Chang Liu · Chun Yang · Hongfa Wang · Xu-Cheng Yin

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:2003.07493
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectiondrrg2020,
  title = {{Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection}},
  author = {Shi-Xue Zhang and Xiaobin Zhu and Jie-Bo Hou and Chang Liu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
  year = {2020},
  eprint = {2003.07493},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.07493}
}
本页内容

在 2020 年的前后,图卷积网络(Graph Convolutional Network, GCN)大行其道。

在此时 Transformer 还没有被广泛应用于图像领域之前,GCN 是一个很好的选择,它可以处理不规则的数据,并且可以捕捉到数据之间的关系。

可惜,图卷积才正要在电脑视觉领域中开始流行,就被 Transformer 扼杀在摇篮里。

定义问题

有了新的工具,居然没人用来解决文本检测的问题,这显然就是最大的问题!

于是作者决定用图卷积网络来解决文本检测的问题,这也成为较早将图卷积用于任意形状文本检测的论文之一。

所以整篇文章最困难的部分就是理解什么是图卷积网络,如果你已经掌握了这个知识,那么这篇论文就没有什么难度了。

解决问题

模型架构

整个模型架构由非常多的组件组合而成,我们可以先大概拆成几个部分:

  1. 特征提取器:使用 VGG-16 作为主干网络,并加上了 FPN(Feature Pyramid Network)。
  2. 文本组件定义:将文本实例切割成一连串有顺序的、近似矩形的小片段。
  3. 文本组件预测:使用卷积操作得到文本组件预测结果。
  4. 损失函数计算:计算预测结果与真实标签之间的损失。
  5. 图卷积网络:将文本组件的关系表示成图,并使用 GCN 进行推理。

特征提取

首先,我们需要一个特征提取器,这里使用了 VGG-16 作为主干网络,并加上了 FPN(Feature Pyramid Network)。

论文将这组多尺度特征融合称为 FPN;从图中可以看出,跨层特征采用拼接(concatenate),而不是标准 FPN 常见的逐元素加法(addition),因此这里的融合方式也带有 U-Net 的特征。

文本组件定义

在这篇论文中,作者将完整的文本实例(例如一行或一个词汇的文本区域)切割成一连串有顺序的、近似矩形的小片段。

借由这些小片段,在预测中可以更细致地描述文本的形状、大小与方向,并最终将这些片段串连回去形成完整的文本。

每个文本组件 DD 以一组几何属性表示:

D=(x,y,h,w,cos⁡θ,sin⁡θ)D = (x, y, h, w, \cos\theta, \sin\theta)
  • x,yx, y:该组件的中心点坐标。也就是文本组件在图像中的位置。
  • h,wh, w:分别代表组件的高度(height)与宽度(width)。
  • cos⁡θ,sin⁡θ\cos\theta, \sin\theta:用来表示文本组件的方向角度(orientation)。

由于角度在数学上有周期性,使用 cos⁡θ\cos\theta 与 sin⁡θ\sin\theta 可以避免直接使用角度带来的复杂度,同时能保证方向的平滑变化。

  • hh 的定义:

    在论文中,文本组件的高度 hh,是由上半段 h1h_1 与下半段 h2h_2 组合而成。

  • 宽度 ww 与高度 hh 的关系

    宽度 ww 是依据高度 hh 通过一个线性规则来取得。

    在实验中设置了最小宽度 wmin⁡w_{\min} 和最大宽度 wmax⁡w_{\max}。规则如下:

    wi={wmin⁡,hi≤2⋅wmin⁡hi2,2⋅wmin⁡<hi<2⋅wmax⁡wmax⁡,hi≥2⋅wmax⁡w_i = \begin{cases} w_{\min}, & h_i \leq 2 \cdot w_{\min} \\ \frac{h_i}{2}, & 2 \cdot w_{\min} < h_i < 2 \cdot w_{\max} \\ w_{\max}, & h_i \geq 2 \cdot w_{\max} \end{cases}

    意义在于:

    • 当组件很矮 (hih_i 很小) 时,宽度被固定为一个最小值 wmin⁡w_{\min},避免组件过于窄小难以识别。
    • 当组件高度在一个中间范围内时,宽度和高度成比例(w=h/2w = h/2),让组件外观维持合理的比例。
    • 如果组件高度过大,则将宽度锁定在最大值 wmax⁡w_{\max},避免过度延伸。

    在实验中,作者缺省 wmin⁡=8w_{\min} = 8 与 wmax⁡=24w_{\max} = 24。


为了清楚定义文本的朝向(例如斜体或水平)以及方便抽取「文本中心区域 (TCR)」,作者引用了 TextSnake 的方式。

步骤如下:

  1. 取得顶边与底边的点序列:

    将文本区域沿其长边方向分割成一系列的四边形(就像把一条长文本分成多个小区段)。如此,我们会取得两组点:

    • P1={tp0,tp1,...,tpn}P_1 = \{tp_0, tp_1, ..., tp_n\}:对应文本上边线(top line)的一串点。
    • P2={bp0,bp1,...,bpn}P_2 = \{bp_0, bp_1, ..., bp_n\}:对应文本下边线(bottom line)的一串点。

    其中 tpitp_i 和 bpibp_i 可以被视为对应同一个垂直切面下的上、下边界点。

  2. 决定哪条是顶线、哪条是底线:

    有了 P1P_1 和 P2P_2 后,我们需要知道哪一组点是文本的上边(top)哪一组是下边(bottom)。

    于是这里定义一组向量集 VV:

    V={tp0−bp0,tp1−bp1,…,tpn−bpn}V = \{ tp_0 - bp_0, tp_1 - bp_1, \ldots, tp_n - bp_n \}

    也就是上边线每个点对应减去下边线的点,形成一组垂直向量。接着计算

    p=∑i=0nsin⁡(vi)p = \sum_{i=0}^{n} \sin(v_i)

    其中 vi=tpi−bpiv_i = tp_i - bp_i,式中的 sin⁡(vi)\sin(v_i) 是取向量方向角的正弦值。如果 p≥0p \geq 0,表示 P1P_1 是顶线,P2P_2 是底线;否则相反。

    这个判定方法是通过向量的方向来决定上、下边,使得我们能确定文本区域的上下方向,进而推断文本的倾斜方向 θ\theta。

  3. 取得文本中心区域(TCR):

    在确定文本的方向后,将文本区域(Text Region, TR)「收缩」以取得较小且精准的文本中心区域(TCR)。

    我们把上面的图放大来看,做法又可分为三个步骤:

    • 计算文本的中心线(center line),这是位于上边线和下边线中间的线。
    • 将中心线的两端各缩短 0.5w0.5w 个像素,避免与相邻的文本实例过于贴近。
    • 将中心在线下方向各向外扩张 0.3h0.3h 的距离,形成一个厚度稍微放大的中心带状区域,这就是我们要的 TCR。

    TCR 的存在可以使网络在后续判定时更容易聚焦于真正的文本核心位置,并在区分相邻文本实例(例如相邻的词或文本行)时更有弹性。

文本组件预测

我们已经知道作者所定义的文本组件,接着就是使用刚才经过 Backbone 和 FPN 处理过的特征图来预测文本组件,通过以下的卷积操作得到 CR:

CR=conv1×1(conv3×3(Fshare))CR = \text{conv}_{1\times1}(\text{conv}_{3\times3}(F_{\text{share}}))

这代表先对特征图做一个 3×33\times3 的卷积,再接上一个 1×11\times1 的卷积。

最终的 CRCR 张量维度为 (h×w×8)(h \times w \times 8),其中 h×wh \times w 是特征图的空间大小,而最后一个维度共有 8 个通道,分别对应的是:

  • 4 个通道构成 TR/非 TR 与 TCR/非 TCR 两组二分类 logit;分别经 softmax 后取得文本区域与文本中心区域预测。
  • 4 个通道用于回归(regression)输出:包括 h1,h2,cos⁡θ,sin⁡θh_1, h_2, \cos\theta, \sin\theta。

在这里的 softmax 操作用于 TR 与 TCR 的分类预测;TR 与 TCR 并非互斥的四个语义类别。另外,通过归一化 cos⁡θ\cos\theta 与 sin⁡θ\sin\theta 确保 cos⁡2θ+sin⁡2θ=1\cos^2\theta + \sin^2\theta = 1,维持方向值的合理性。

最后,对预测结果通过设置门槛值(threshold)与在局部区域中进行 NMS(Non-Maximum Suppression)可以去除冗余的重叠组件,得到较干净、精确的文本组件检测结果。

损失函数计算

整体的侦测损失 LdetL_{\text{det}} 包含两个部份:

Ldet=Lcls+LregL_{\text{det}} = L_{\text{cls}} + L_{\text{reg}}
  • LclsL_{\text{cls}}: 分类损失(classification loss),用于判定哪些像素属于文本区域(TCR/TR)或背景。
  • LregL_{\text{reg}}: 回归损失(regression loss),用于精确预测文本的几何属性,如高度、方向。

分类损失 LclsL_{\text{cls}} 是一个交叉熵损失(cross-entropy loss)。

论文中将整个文本相关区域分为两个范围:

  • TR (Text Region):整个文本区域,包括文本的上下边界之间的范围。
  • TCR (Text Center Region):从 TR 中间缩小/调整得到的「文本中心区域」,用来更精准地定位文本核心位置,避免干扰。

定义如下:

Lcls=Ltr+λ1Ltcrp+λ2LtcrnL_{\text{cls}} = L_{\text{tr}} + \lambda_1 L_{\text{tcrp}} + \lambda_2 L_{\text{tcrn}}

在这里有三个子损失:

  1. LtrL_{\text{tr}}: 用于判定哪些像素属于文本区域 TR 的分类误差。

  2. LtcrpL_{\text{tcrp}}: 只在 TR 里面的像素中计算,用来确保在真正的文本区域中,能正确分辨出 TCR(文本的中心区域)。 换句话说,LtcrpL_{\text{tcrp}} 专门在「确定是文本」的地方,进一步将那些像素区分为「文本中心区域」或「非中心的文本区域」。

  3. LtcrnL_{\text{tcrn}}: 只在「非 TR」范围的像素中计算,用来抑制 TCR 在背景区域出现的杂讯。 简言之,如果在背景中(没有文本的地方)却预测出 TCR,则会加大此项损失,强迫网络不要在背景中错误标记 TCR。

为了使训练更稳定,文章中采用了 OHEM(Online Hard Example Mining)方法。OHEM 会挑选出困难的负样本(负样本指不属于文本区域的像素)来计算损失,防止过多容易判定的负样本影响训练。作者将负与正样本的比例设为 3:1。

实验中,超参数设置为 λ1=1.0\lambda_1 = 1.0 与 λ2=0.5\lambda_2 = 0.5,代表 LtcrpL_{\text{tcrp}} 和 LtcrnL_{\text{tcrn}} 在整体分类损失中的权重。


回归损失用来让模型学会精确地估计文本的高度、方向等属性。

但是受限于只有在 TCR 中,我们才有明确的高度和方向信息(TCR 算是精确落在文本中心的区域,能稳定取得文本方向及高度标注),所以回归损失只在 TCR 范围内计算。

定义如下:

Lreg=Lh+β(Lsin⁡+Lcos⁡)L_{\text{reg}} = L_{h} + \beta(L_{\sin} + L_{\cos})

这里包含三个部份:

  1. LhL_h:高度回归损失

    用来衡量预测的高度与真实高度的差异。

    其中高度 hh 是由 h1h_1 与 h2h_2 构成的(在前面定义中已知 h=h1+h2h = h_1 + h_2)。

    损失计算方式为:

    Lh=1Ω∑i∈Ω(log⁡(h+1)∑k=02smoothL1(h^kihki−1))L_{h} = \frac{1}{\Omega} \sum_{i \in \Omega} \left( \log(h + 1) \sum_{k=0}^{2} \text{smoothL1}\left(\frac{\hat{h}_{ki}}{h_{ki}} - 1\right) \right)

    其中:

    • Ω\Omega:TCR 中的所有正样本集合(有对应标注的像素)。

    • hkih_{ki}:与高度相关的真实标注值;原论文采用 k=0,1,2k=0,1,2 的索引,但没有完整解释三个索引各自的含义。

    • h^ki\hat{h}_{ki}:模型预测值。


  1. Lsin⁡L_{\sin} 与 Lcos⁡L_{\cos}:方向回归损失

    用来衡量预测的文本方向(以 sin⁡θ\sin \theta 和 cos⁡θ\cos \theta 表示)是否准确:

    Lsin⁡=smoothL1(sin⁡θ^−sin⁡θ)L_{\sin} = \text{smoothL1}(\hat{\sin\theta} - \sin\theta) Lcos⁡=smoothL1(cos⁡θ^−cos⁡θ)L_{\cos} = \text{smoothL1}(\hat{\cos\theta} - \cos\theta)

    使用 smooth L1 损失来减轻极值误差的影响,使训练更稳定。

  2. β\beta:一个平衡因子

    是用于控制方向损失 Lsin⁡L_{\sin} 和 Lcos⁡L_{\cos} 在整体 LregL_{\text{reg}} 中的权重,文中设置 β=1.0\beta = 1.0。

生成局部图

既然作者在这篇论文中想要用图卷积网络来解决文本检测的问题,这就需要将文本组件之间的关系表示成图。

由于一张图像中可能侦测出很多文本组件,如果为整张图像产生一个巨大的图结构(即所有节点全部相互链接)将非常低效。

实际上,每个文本组件在空间上只可能与附近的少数组件有关联,不需要和图像中所有组件创建关系。因此,作者选择针对每个「枢纽点(pivot)」文本组件,创建一个只含少数相邻组件的「局部图」,避免处理过于庞杂的全局图。

局部图是以某个特定的文本组件(称作「pivot」)为中心,只考虑该点附近的其他组件,从而形成一个小型的图结构。如此一来,图的大小被限制在很小的范围内,加快后续的关联推理过程。

为了创建局部图,作者参考了过去文献(如下列)的做法,从已侦测出的文本组件中选择一个组件作为「pivot」,在此 pivot 周围,我们将寻找它的邻居节点,形成一个局部图 GpG_p,并将邻居节点分为「1-hop」与「2-hop」范围:

  • 1-hop 邻居:从 pivot 开始,找出距离(在某种相似度衡量下)最近的 8 个组件作为一阶邻居(也就是最接近 pivot 的组件)。
  • 2-hop 邻居:从每个 1-hop 邻居再找出 4 个最近的组件,作为二阶邻居。

根据上述逻辑,一个 pivot 的局部图 GpG_p 会从它本身的节点 pp、最多 8 个 1-hop 邻居,以及每个 1-hop 邻居各找的最多 4 个 2-hop 邻居中创建;去重前最多有 1+8+8×4=411+8+8\times4=41 个候选节点,这比整张图像中可能上百上千个组件要少很多。

最后,要决定哪些组件是最接近 pivot 的邻居,需要一个「相似度」或「距离」的衡量方式。

论文中使用欧式距离的相对比例来定义相似度:

Es=1−D(p,vi)max⁡(Hm,Wm)E_s = 1 - \frac{D(p, v_i)}{\max(H_m, W_m)}
  • D(p,vi)D(p, v_i) 是 pivot pp 与节点 viv_i 之间的 L2 欧式距离(在图像坐标空间中的距离)。
  • HmH_m 与 WmW_m 分别是整张图像的高度与宽度。

筛选重复样本

在训练中,如果同一文本实例里面选择的不同 pivot 所对应的局部图过于相似(例如选 pivot 选到同一行字中的相邻字符,结果局部图里面大部分节点都重复出现),这会导致模型不断重复学习「容易的样本」,使得训练效率低下。

为此,作者提出一个筛选条件:

Giou=Gp∩GqGp∪Gq<ξG_{\text{iou}} = \frac{G_p \cap G_q}{G_p \cup G_q} < \xi

其中 GpG_p 与 GqG_q 是同一文本实例 TT 中不同 pivot 所形成的两个局部图,它们的 1-hop 邻居集合进行交集(∩\cap)与并集(∪\cup)运算,以计算两个局部图的「重叠比例」。

如果重叠比例 GiouG_{\text{iou}} 太高(例如接近 1,代表两个局部图几乎一样),则不采用该 pivot,避免产生大量「重复、容易」的样本。

作者在实验中设置 ξ=0.75\xi = 0.75,若重叠比例小于 0.75 才使用。这样的策略减少重复的容易样本,提升训练效率。

图卷积网络

在先前的步骤中,作者为每张图像创建了多个「局部图 」,每个局部图包含一个「枢纽点」及其 1-hop、2-hop 邻居节点。通过这些局部图,可以掌握节点间初步的链接信息。但这些仅是粗略的链接估计。

为了更深入推断节点间真正的链接概率,特别是在判断枢纽节点与其 1-hop 邻居之间的关系上,作者在此引入「图卷积网络 (Graph Convolutional Network, GCN)」模型。

通过 GCN,可以在图结构中逐层聚合邻居信息,进行更高端的关系推理。

一个图(Graph)通常以 g(X,A)g(X, A) 表示:

  • XX:节点特征矩阵,每一行代表一个节点的特征向量。
  • AA:邻接矩阵,描述节点间连接关系,如果第 ii 个节点与第 jj 个节点有边连接,那么 Aij=1A_{ij}=1,否则为 0(或其他权重)。

在此,我们需要为局部图 GpG_p(以 pivot pp 为中心的局部图)创建节点特征矩阵 XX 与邻接矩阵 AA,然后将它们输入到图卷积网络中进行关联推理。

节点特征由两大部分组成:

  1. RROI 特征 (RROI features)
  2. 几何特征 (geometric features)

使用 RRoI-Align(RRoI 是 Rotated RoI,即考虑旋转文本框的 RoI 标准)方法从图像特征图中截取每个文本组件的特征区块,并将该特征向量称为 FrF_r。

这些特征主要来自图像的外观信息,虽然能捕捉文本区域内的纹理与形状,但却缺乏该文本组件在整张图像中的位置、尺度、方向等「几何属性 (geometric features)」。

因此,为了让节点特征更全面,作者在这里直接采用 Transformer 的位置编码,将文本组件的几何信息嵌入 (embedding) 到高维空间中:

ε2i(z)=cos⁡(z10002i/Cε),i∈[0,Cε/2−1]\varepsilon_{2i}(z) = \cos\left(\frac{z}{1000^{2i/C_{\varepsilon}}}\right), \quad i \in [0, C_{\varepsilon}/2 - 1] ε2i+1(z)=sin⁡(z10002i/Cε),i∈[0,Cε/2−1]\varepsilon_{2i+1}(z) = \sin\left(\frac{z}{1000^{2i/C_{\varepsilon}}}\right), \quad i \in [0, C_{\varepsilon}/2 - 1]

对于一个文本组件有 6 个几何属性(如 x,y,h,w,cos⁡θ,sin⁡θx, y, h, w, \cos\theta, \sin\theta),每一个属性都各自通过上述 embedding 转成 CεC_{\varepsilon} 维,因此总共为 6⋅Cε6 \cdot C_{\varepsilon} 维,记为 FgF_g。

最后,将 FrF_r(RROI 特征)与 FgF_g(几何特征嵌入)串接在一起,形成节点的完整特征向量,即 xq=[Fr;Fg]x_q = [F_r; F_g]。

输入局部图前,还会将各节点特征减去 pivot 的特征 xpx_p,以保留相对于 pivot 的信息。


完成节点特征的准备后,接下来是创建邻接矩阵 AA。

为控制图的稀疏性和运算量,作者对每个节点仅选择距离最近的 uu 个邻居,使得每个节点不会连接过多的其他节点。若节点 njn_j 是节点 nin_i 的前 uu 名最近邻之一,则设置 Ap(ni,nj)=1A_p(n_i, n_j) = 1,否则为 0。实验中,uu 被设置为 3。

如此创建的邻接矩阵 A∈RN×NA \in \mathbb{R}^{N \times N} 定义了局部图的拓扑结构。


有了节点特征矩阵 XX 和邻接矩阵 AA 后,作者在这里堆栈了一层 Batch Normalization 和四层图卷积层,每层后面接 ReLU 激活。模型通过 softmax cross-entropy loss 来训练 1-hop 节点与 pivot 的链接预测。

在训练阶段,反向传递只针对 1-hop 节点的分类误差进行,因为实际上最需要决策的是 pivot 与其最近邻居的链接是否成立。2-hop 节点则提供辅助信息,使图卷积能截取更广阔的上下文特征,但不会直接对 2-hop 节点的链接进行优化。

在测试阶段,则是用训练好的模型来判断 pivot 与 1-hop 节点的链接结果,进而重建整个文本实例,我们再把刚才的图拿出来看一下:

文本节点的特征经过 GCN 处理,再通过 softmax 得到文本组件与 pivot 之间的链接概率。推论时,模型会逐一以各组件为 pivot 建图,使用 BFS 合并链接的组件;接着以 Min-Path 排序组件中心,串接上下边界的中点,才形成最终的文本边界。

讨论

消融实验

整个模型架构非常复杂,我们直接看消融实验。

为了降低数据差异对实验结果的影响,作者先使用 SynthText 作为预训练数据,然后再将模型微调(fine-tune)于 Total-Text 与 CTW1500 上。至于 MSRA-TD500 数据集,因其中包含英文与中文文本,作者选择使用 ICDAR2017-MLT 进行预训练,再微调于 MSRA-TD500。

实验结果如上表所示。表中的 baseline 以文本区域与中心区域的交集分组文本组件,而非使用 GCN 学到的链接关系;加入关系推理网络后,各数据集的 Hmean(F-score)均有所提升:

  • 在 Total-Text 上,Hmean 提升了 1.83 个百分点。
  • 在 CTW1500 上,Hmean 提升了 0.78 个百分点。
  • 在 MSRA-TD500 上,Hmean 提升了 4.27 个百分点。

其中,MSRA-TD500 的增幅最大;这项结果显示关系推理对该长文本数据集有帮助。此外,作者指出该方法在 CTW1500 上的提升幅度并不如其他数据集显著,原因可能在于 CTW1500 的标注存在一些问题:

  • CTW1500 并没有「DO NOT CARE」的标注标准,意味着一些非常小的文本或非英文文本未被标注。这造成评估时的干扰,如下图范例。
  • 该数据集的文本行(text line)标注有时相当混乱,使得模型的判断与标注不易对齐。

尽管 CTW1500 的增幅较小,三个数据集的消融结果仍支持关系推理网络有助于提升 Hmean。

与其他方法的比较

作者以 ICDAR2017-MLT 作为预训练数据集,分别在 CTW1500 与 Total-Text 上进行微调。

如上表所示,本论文的方法(又称 DRRG)在 Total-Text 上 Hmean 达到 85.73%,在 CTW1500 上达到 84.45%,均优于表列的其他方法。如果和 TextSnake 方法进行比较,DRRG 在 CTW1500 与 Total-Text 上的 Hmean 分别提升了 8.85 与 7.33 个百分点。

在 MSRA-TD500 上,DRRG 的 Hmean 也达到 85.08%,优于其他方法。

可视化结果

对于弯曲不规则的文本,作者在实验中也取得了不错的效果。

如上图所示,上排展示文本组件的分组结果,下排则展示产生的文本边界;这些例子显示 DRRG 能检测不同形状的文本。

结论

这篇论文的创新在于图卷积网络的应用,将文本组件之间的关系结构化为图形问题,利用图卷积网络对节点与边进行深度推理,确定真正的链接关系。进而在后处理步骤中有效集成并重组这些组件,形成完整的文本实例。

在后续的 TextBPN 架构中,我们能再次见到图卷积网络的身影,这也证明了图卷积网络在文本检测任务中的有效性。