Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection
- 发表版本
- CVPR 2020会议
- arXiv 首次提交
- arXiv:2003.07493
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectiondrrg2020,
title = {{Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection}},
author = {Shi-Xue Zhang and Xiaobin Zhu and Jie-Bo Hou and Chang Liu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
year = {2020},
eprint = {2003.07493},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2003.07493}
}
在 2020 年的前后,图卷积网络(Graph Convolutional Network, GCN)大行其道。
在此时 Transformer 还没有被广泛应用于图像领域之前,GCN 是一个很好的选择,它可以处理不规则的数据,并且可以捕捉到数据之间的关系。
可惜,图卷积才正要在电脑视觉领域中开始流行,就被 Transformer 扼杀在摇篮里。
定义问题
有了新的工具,居然没人用来解决文本检测的问题,这显然就是最大的问题!
于是作者决定用图卷积网络来解决文本检测的问题,这也成为较早将图卷积用于任意形状文本检测的论文之一。
所以整篇文章最困难的部分就是理解什么是图卷积网络,如果你已经掌握了这个知识,那么这篇论文就没有什么难度了。
解决问题
模型架构
整个模型架构由非常多的组件组合而成,我们可以先大概拆成几个部分:
- 特征提取器:使用 VGG-16 作为主干网络,并加上了 FPN(Feature Pyramid Network)。
- 文本组件定义:将文本实例切割成一连串有顺序的、近似矩形的小片段。
- 文本组件预测:使用卷积操作得到文本组件预测结果。
- 损失函数计算:计算预测结果与真实标签之间的损失。
- 图卷积网络:将文本组件的关系表示成图,并使用 GCN 进行推理。
特征提取
首先,我们需要一个特征提取器,这里使用了 VGG-16 作为主干网络,并加上了 FPN(Feature Pyramid Network)。
论文将这组多尺度特征融合称为 FPN;从图中可以看出,跨层特征采用拼接(concatenate),而不是标准 FPN 常见的逐元素加法(addition),因此这里的融合方式也带有 U-Net 的特征。
文本组件定义
在这篇论文中,作者将完整的文本实例(例如一行或一个词汇的文本区域)切割成一连串有顺序的、近似矩形的小片段。
借由这些小片段,在预测中可以更细致地描述文本的形状、大小与方向,并最终将这些片段串连回去形成完整的文本。
每个文本组件 以一组几何属性表示:
- :该组件的中心点坐标。也就是文本组件在图像中的位置。
- :分别代表组件的高度(height)与宽度(width)。
- :用来表示文本组件的方向角度(orientation)。
由于角度在数学上有周期性,使用 与 可以避免直接使用角度带来的复杂度,同时能保证方向的平滑变化。
-
的定义:
在论文中,文本组件的高度 ,是由上半段 与下半段 组合而成。
-
宽度 与高度 的关系
宽度 是依据高度 通过一个线性规则来取得。
在实验中设置了最小宽度 和最大宽度 。规则如下:
意义在于:
- 当组件很矮 ( 很小) 时,宽度被固定为一个最小值 ,避免组件过于窄小难以识别。
- 当组件高度在一个中间范围内时,宽度和高度成比例(),让组件外观维持合理的比例。
- 如果组件高度过大,则将宽度锁定在最大值 ,避免过度延伸。
在实验中,作者缺省 与 。
为了清楚定义文本的朝向(例如斜体或水平)以及方便抽取「文本中心区域 (TCR)」,作者引用了 TextSnake 的方式。
步骤如下:
-
取得顶边与底边的点序列:
将文本区域沿其长边方向分割成一系列的四边形(就像把一条长文本分成多个小区段)。如此,我们会取得两组点:
- :对应文本上边线(top line)的一串点。
- :对应文本下边线(bottom line)的一串点。
其中 和 可以被视为对应同一个垂直切面下的上、下边界点。
-
决定哪条是顶线、哪条是底线:
有了 和 后,我们需要知道哪一组点是文本的上边(top)哪一组是下边(bottom)。
于是这里定义一组向量集 :
也就是上边线每个点对应减去下边线的点,形成一组垂直向量。接着计算
其中 ,式中的 是取向量方向角的正弦值。如果 ,表示 是顶线, 是底线;否则相反。
这个判定方法是通过向量的方向来决定上、下边,使得我们能确定文本区域的上下方向,进而推断文本的倾斜方向 。
-
取得文本中心区域(TCR):
在确定文本的方向后,将文本区域(Text Region, TR)「收缩」以取得较小且精准的文本中心区域(TCR)。
我们把上面的图放大来看,做法又可分为三个步骤:
- 计算文本的中心线(center line),这是位于上边线和下边线中间的线。
- 将中心线的两端各缩短 个像素,避免与相邻的文本实例过于贴近。
- 将中心在线下方向各向外扩张 的距离,形成一个厚度稍微放大的中心带状区域,这就是我们要的 TCR。
TCR 的存在可以使网络在后续判定时更容易聚焦于真正的文本核心位置,并在区分相邻文本实例(例如相邻的词或文本行)时更有弹性。
文本组件预测
我们已经知道作者所定义的文本组件,接着就是使用刚才经过 Backbone 和 FPN 处理过的特征图来预测文本组件,通过以下的卷积操作得到 CR:
这代表先对特征图做一个 的卷积,再接上一个 的卷积。
最终的 张量维度为 ,其中 是特征图的空间大小,而最后一个维度共有 8 个通道,分别对应的是:
- 4 个通道构成 TR/非 TR 与 TCR/非 TCR 两组二分类 logit;分别经 softmax 后取得文本区域与文本中心区域预测。
- 4 个通道用于回归(regression)输出:包括 。
在这里的 softmax 操作用于 TR 与 TCR 的分类预测;TR 与 TCR 并非互斥的四个语义类别。另外,通过归一化 与 确保 ,维持方向值的合理性。
最后,对预测结果通过设置门槛值(threshold)与在局部区域中进行 NMS(Non-Maximum Suppression)可以去除冗余的重叠组件,得到较干净、精确的文本组件检测结果。
损失函数计算
整体的侦测损失 包含两个部份:
- : 分类损失(classification loss),用于判定哪些像素属于文本区域(TCR/TR)或背景。
- : 回归损失(regression loss),用于精确预测文本的几何属性,如高度、方向。
分类损失 是一个交叉熵损失(cross-entropy loss)。
论文中将整个文本相关区域分为两个范围:
- TR (Text Region):整个文本区域,包括文本的上下边界之间的范围。
- TCR (Text Center Region):从 TR 中间缩小/调整得到的「文本中心区域」,用来更精准地定位文本核心位置,避免干扰。
定义如下:
在这里有三个子损失:
-
: 用于判定哪些像素属于文本区域 TR 的分类误差。
-
: 只在 TR 里面的像素中计算,用来确保在真正的文本区域中,能正确分辨出 TCR(文本的中心区域)。 换句话说, 专门在「确定是文本」的地方,进一步将那些像素区分为「文本中心区域」或「非中心的文本区域」。
-
: 只在「非 TR」范围的像素中计算,用来抑制 TCR 在背景区域出现的杂讯。 简言之,如果在背景中(没有文本的地方)却预测出 TCR,则会加大此项损失,强迫网络不要在背景中错误标记 TCR。
为了使训练更稳定,文章中采用了 OHEM(Online Hard Example Mining)方法。OHEM 会挑选出困难的负样本(负样本指不属于文本区域的像素)来计算损失,防止过多容易判定的负样本影响训练。作者将负与正样本的比例设为 3:1。
实验中,超参数设置为 与 ,代表 和 在整体分类损失中的权重。
回归损失用来让模型学会精确地估计文本的高度、方向等属性。
但是受限于只有在 TCR 中,我们才有明确的高度和方向信息(TCR 算是精确落在文本中心的区域,能稳定取得文本方向及高度标注),所以回归损失只在 TCR 范围内计算。
定义如下:
这里包含三个部份:
-
:高度回归损失
用来衡量预测的高度与真实高度的差异。
其中高度 是由 与 构成的(在前面定义中已知 )。
损失计算方式为:
其中:
-
:TCR 中的所有正样本集合(有对应标注的像素)。
-
:与高度相关的真实标注值;原论文采用 的索引,但没有完整解释三个索引各自的含义。
-
:模型预测值。
-
-
与 :方向回归损失
用来衡量预测的文本方向(以 和 表示)是否准确:
使用 smooth L1 损失来减轻极值误差的影响,使训练更稳定。
-
:一个平衡因子
是用于控制方向损失 和 在整体 中的权重,文中设置 。
生成局部图
既然作者在这篇论文中想要用图卷积网络来解决文本检测的问题,这就需要将文本组件之间的关系表示成图。
由于一张图像中可能侦测出很多文本组件,如果为整张图像产生一个巨大的图结构(即所有节点全部相互链接)将非常低效。
实际上,每个文本组件在空间上只可能与附近的少数组件有关联,不需要和图像中所有组件创建关系。因此,作者选择针对每个「枢纽点(pivot)」文本组件,创建一个只含少数相邻组件的「局部图」,避免处理过于庞杂的全局图。
局部图是以某个特定的文本组件(称作「pivot」)为中心,只考虑该点附近的其他组件,从而形成一个小型的图结构。如此一来,图的大小被限制在很小的范围内,加快后续的关联推理过程。
为了创建局部图,作者参考了过去文献(如下列)的做法,从已侦测出的文本组件中选择一个组件作为「pivot」,在此 pivot 周围,我们将寻找它的邻居节点,形成一个局部图 ,并将邻居节点分为「1-hop」与「2-hop」范围:
- 1-hop 邻居:从 pivot 开始,找出距离(在某种相似度衡量下)最近的 8 个组件作为一阶邻居(也就是最接近 pivot 的组件)。
- 2-hop 邻居:从每个 1-hop 邻居再找出 4 个最近的组件,作为二阶邻居。
根据上述逻辑,一个 pivot 的局部图 会从它本身的节点 、最多 8 个 1-hop 邻居,以及每个 1-hop 邻居各找的最多 4 个 2-hop 邻居中创建;去重前最多有 个候选节点,这比整张图像中可能上百上千个组件要少很多。
最后,要决定哪些组件是最接近 pivot 的邻居,需要一个「相似度」或「距离」的衡量方式。
论文中使用欧式距离的相对比例来定义相似度:
- 是 pivot 与节点 之间的 L2 欧式距离(在图像坐标空间中的距离)。
- 与 分别是整张图像的高度与宽度。
筛选重复样本
在训练中,如果同一文本实例里面选择的不同 pivot 所对应的局部图过于相似(例如选 pivot 选到同一行字中的相邻字符,结果局部图里面大部分节点都重复出现),这会导致模型不断重复学习「容易的样本」,使得训练效率低下。
为此,作者提出一个筛选条件:
其中 与 是同一文本实例 中不同 pivot 所形成的两个局部图,它们的 1-hop 邻居集合进行交集()与并集()运算,以计算两个局部图的「重叠比例」。
如果重叠比例 太高(例如接近 1,代表两个局部图几乎一样),则不采用该 pivot,避免产生大量「重复、容易」的样本。
作者在实验中设置 ,若重叠比例小于 0.75 才使用。这样的策略减少重复的容易样本,提升训练效率。
图卷积网络
在先前的步骤中,作者为每张图像创建了多个「局部图 」,每个局部图包含一个「枢纽点」及其 1-hop、2-hop 邻居节点。通过这些局部图,可以掌握节点间初步的链接信息。但这些仅是粗略的链接估计。
为了更深入推断节点间真正的链接概率,特别是在判断枢纽节点与其 1-hop 邻居之间的关系上,作者在此引入「图卷积网络 (Graph Convolutional Network, GCN)」模型。
通过 GCN,可以在图结构中逐层聚合邻居信息,进行更高端的关系推理。
一个图(Graph)通常以 表示:
- :节点特征矩阵,每一行代表一个节点的特征向量。
- :邻接矩阵,描述节点间连接关系,如果第 个节点与第 个节点有边连接,那么 ,否则为 0(或其他权重)。
在此,我们需要为局部图 (以 pivot 为中心的局部图)创建节点特征矩阵 与邻接矩阵 ,然后将它们输入到图卷积网络中进行关联推理。
节点特征由两大部分组成:
- RROI 特征 (RROI features)
- 几何特征 (geometric features)
使用 RRoI-Align(RRoI 是 Rotated RoI,即考虑旋转文本框的 RoI 标准)方法从图像特征图中截取每个文本组件的特征区块,并将该特征向量称为 。
这些特征主要来自图像的外观信息,虽然能捕捉文本区域内的纹理与形状,但却缺乏该文本组件在整张图像中的位置、尺度、方向等「几何属性 (geometric features)」。
因此,为了让节点特征更全面,作者在这里直接采用 Transformer 的位置编码,将文本组件的几何信息嵌入 (embedding) 到高维空间中:
对于一个文本组件有 6 个几何属性(如 ),每一个属性都各自通过上述 embedding 转成 维,因此总共为 维,记为 。
最后,将 (RROI 特征)与 (几何特征嵌入)串接在一起,形成节点的完整特征向量,即 。
输入局部图前,还会将各节点特征减去 pivot 的特征 ,以保留相对于 pivot 的信息。
完成节点特征的准备后,接下来是创建邻接矩阵 。
为控制图的稀疏性和运算量,作者对每个节点仅选择距离最近的 个邻居,使得每个节点不会连接过多的其他节点。若节点 是节点 的前 名最近邻之一,则设置 ,否则为 0。实验中, 被设置为 3。
如此创建的邻接矩阵 定义了局部图的拓扑结构。
有了节点特征矩阵 和邻接矩阵 后,作者在这里堆栈了一层 Batch Normalization 和四层图卷积层,每层后面接 ReLU 激活。模型通过 softmax cross-entropy loss 来训练 1-hop 节点与 pivot 的链接预测。
在训练阶段,反向传递只针对 1-hop 节点的分类误差进行,因为实际上最需要决策的是 pivot 与其最近邻居的链接是否成立。2-hop 节点则提供辅助信息,使图卷积能截取更广阔的上下文特征,但不会直接对 2-hop 节点的链接进行优化。
在测试阶段,则是用训练好的模型来判断 pivot 与 1-hop 节点的链接结果,进而重建整个文本实例,我们再把刚才的图拿出来看一下:
文本节点的特征经过 GCN 处理,再通过 softmax 得到文本组件与 pivot 之间的链接概率。推论时,模型会逐一以各组件为 pivot 建图,使用 BFS 合并链接的组件;接着以 Min-Path 排序组件中心,串接上下边界的中点,才形成最终的文本边界。
讨论
消融实验
整个模型架构非常复杂,我们直接看消融实验。
为了降低数据差异对实验结果的影响,作者先使用 SynthText 作为预训练数据,然后再将模型微调(fine-tune)于 Total-Text 与 CTW1500 上。至于 MSRA-TD500 数据集,因其中包含英文与中文文本,作者选择使用 ICDAR2017-MLT 进行预训练,再微调于 MSRA-TD500。
实验结果如上表所示。表中的 baseline 以文本区域与中心区域的交集分组文本组件,而非使用 GCN 学到的链接关系;加入关系推理网络后,各数据集的 Hmean(F-score)均有所提升:
- 在 Total-Text 上,Hmean 提升了 1.83 个百分点。
- 在 CTW1500 上,Hmean 提升了 0.78 个百分点。
- 在 MSRA-TD500 上,Hmean 提升了 4.27 个百分点。
其中,MSRA-TD500 的增幅最大;这项结果显示关系推理对该长文本数据集有帮助。此外,作者指出该方法在 CTW1500 上的提升幅度并不如其他数据集显著,原因可能在于 CTW1500 的标注存在一些问题:
- CTW1500 并没有「DO NOT CARE」的标注标准,意味着一些非常小的文本或非英文文本未被标注。这造成评估时的干扰,如下图范例。
- 该数据集的文本行(text line)标注有时相当混乱,使得模型的判断与标注不易对齐。
尽管 CTW1500 的增幅较小,三个数据集的消融结果仍支持关系推理网络有助于提升 Hmean。
与其他方法的比较
作者以 ICDAR2017-MLT 作为预训练数据集,分别在 CTW1500 与 Total-Text 上进行微调。
如上表所示,本论文的方法(又称 DRRG)在 Total-Text 上 Hmean 达到 85.73%,在 CTW1500 上达到 84.45%,均优于表列的其他方法。如果和 TextSnake 方法进行比较,DRRG 在 CTW1500 与 Total-Text 上的 Hmean 分别提升了 8.85 与 7.33 个百分点。
在 MSRA-TD500 上,DRRG 的 Hmean 也达到 85.08%,优于其他方法。
可视化结果
对于弯曲不规则的文本,作者在实验中也取得了不错的效果。
如上图所示,上排展示文本组件的分组结果,下排则展示产生的文本边界;这些例子显示 DRRG 能检测不同形状的文本。
结论
这篇论文的创新在于图卷积网络的应用,将文本组件之间的关系结构化为图形问题,利用图卷积网络对节点与边进行深度推理,确定真正的链接关系。进而在后处理步骤中有效集成并重组这些组件,形成完整的文本实例。
在后续的 TextBPN 架构中,我们能再次见到图卷积网络的身影,这也证明了图卷积网络在文本检测任务中的有效性。