返回论文笔记资料库
arXiv 2017CVPR 2017文本检测论文笔记

EAST

日出东方

原始论文

EAST: An Efficient and Accurate Scene Text Detector

论文作者

Xinyu Zhou · Cong Yao · He Wen …

查看全部 7 位作者

Xinyu Zhou · Cong Yao · He Wen · Yuzhi Wang · Shuchang Zhou · Weiran He · Jiajun Liang

发表版本
CVPR 2017会议
arXiv 首次提交
arXiv:1704.03155
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectioneast2017,
  title = {{EAST: An Efficient and Accurate Scene Text Detector}},
  author = {Xinyu Zhou and Cong Yao and He Wen and Yuzhi Wang and Shuchang Zhou and Weiran He and Jiajun Liang},
  year = {2017},
  eprint = {1704.03155},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1704.03155}
}
本页内容

在全卷积网络 FCN 开始流行后,密集预测有助于处理文本尺寸变化剧烈的问题。接着,多尺度特征融合概念也正式走进人们的视野。U-Net 论文提出将不同层次的特征进行拼接融合,用于提高图像分割的定位精度。

既然解题的工具有了,研究者们肯定是要找个地方来用用看。

文本检测领域也理所当然地跟上了这个潮流。

定义问题

作者整理了过去文献所使用的文本检测的方法,如上图。

大多数的方法必须经过两个以上的步骤,像是文本区域特征计算、方向计算、区域合并等。又或是依赖手动设计的特征,基于笔画宽度和最大稳定极值区域之类的方法。

但不只是你不喜欢,作者也不喜欢这些方法。因为这些方法需要太多步骤了!不好用啊!

作者的目标就是希望能够提出一个简单且高效的方法。

解决问题

由于文本区域的大小变化很大,确定大区域文本的存在需要神经网络后期的特征,而预测包含小区域文本的精确几何形状需要早期的低层信息,因此模型需要融合多尺度的特征。

模型架构

在上图架构中,最左边的黄色区块,就是我们熟知的 Backbone 网络,可以替换。图中画的是 PVANet;实验另外使用 VGG16 和通道数加倍的 PVANET2x。

绿色区块是特征融合分支,作者借用 U-Net 的 U 型逐层融合概念,并缩小上采样分支的通道数。

这里我们不再赘述 U-Net 的细节,有兴趣的读者可以参考:

最后是检测头的设计。

作者使用融合分支所输出的“最大分辨率”特征图进行预测,其尺寸为输入图像的四分之一;输出分成三个部分:

  1. RBOX:由 4 个轴对齐边界框距离和 1 个旋转角度组成,共输出 5 个通道。其中 4 个通道分别代表像素位置到矩形的上、右、下、左四个边的距离。
  2. QUAD:由 4 个点组成,共输出 8 个通道,表示四边形的四个角顶点到像素位置的坐标偏移,因为必须区分 Δx\Delta x 和 Δy\Delta y,所以共输出 8 个通道。
  3. SCORE:输出文本的分数,用来判断是否为文本区域,共输出 1 个通道。

输出概念图如下:

标签生成

  1. 四边形的分数图生成

    当几何形状为四边形时的情况,分数图中的四边形正区域设计为原四边形的缩小版本,如上图 (a) 所示。对于一个四边形 Q={pi∣i∈{1,2,3,4}}Q = \{p_i | i ∈ \{1, 2, 3, 4\} \},其中 pi={xi,yi}p_i = \{x_i, y_i\} 是按顺时针顺序排列的顶点。

    缩小四边形的步骤如下:

    1. 首先计算每个顶点 pip_i 的参考长度 rir_i,公式为:

      ri=min⁡(D(pi,p(imod  4)+1),D(pi,p((i+2)mod  4)+1))r_i = \min(D(p_i, p_{(i \mod 4)+1}), D(p_i, p_{((i+2) \mod 4)+1}))

      其中 D(pi,pj)D(p_i, p_j) 是顶点之间的 L2 距离。

    2. 先缩短四边形的两条较长的边,再缩短较短的边。

    3. 对于两对相对的边,通过比较它们长度的均值来判断哪一对为“较长”。

    4. 每条边 pip_i 与 p(imod   4)+1p_{(i \mod\ 4)+1} 的缩小方式是将两端点沿边内缩,分别移动 0.3ri0.3r_i 和 0.3r(imod  4)+10.3r_{(i \mod 4)+1}。

  2. 几何图生成

    几何图可以是 RBOX 或 QUAD。RBOX 的生成过程如上图 (c-e) 所示。

    对于那些以四边形 (QUAD) 样式标注的数据集(例如 ICDAR 2015),作者首先生成一个最小面积的旋转矩形来覆盖该区域。对于每个有正分数的像素,则是计算其到文本框四个边界的距离,并将其放入 RBOX 的 4 个通道中。

    另外,对于 QUAD 的几何标签,每个有正分数的像素在 8 通道几何图中的值是该像素与四边形 4 个顶点的坐标偏移量。

损失函数

总损失函数可以表示为:

L=Ls+λgLgL = L_s + λ_g L_g

其中,LsL_s 表示分数图的损失,LgL_g 表示几何图的损失,λgλ_g 用来平衡两者的权重。

在实验中,设置 λg=1λ_g = 1。

  • 分数图的损失

    许多先进的检测方法使用平衡抽样和难负样本挖掘来解决目标物不均衡的分布问题,这些技术虽能提升性能,但会增加非微分过程和调参负担。为了简化训练过程,作者使用了类别平衡交叉熵:

    Ls=balanced-xent(Y^,Y∗)L_s = \text{balanced-xent}( \hat{Y}, Y^* ) =−βY∗log⁡Y^−(1−β)(1−Y∗)log⁡(1−Y^)= -β Y^* \log \hat{Y} - (1 - β)(1 - Y^*) \log(1 - \hat{Y})

    其中,Y^\hat{Y} 是预测的分数图,Y∗Y^* 是真实标签,ββ 是正负样本的平衡因子:

    β=1−∑y∗∈Y∗y∗∣Y∗∣β = 1 - \frac{\sum_{y^* \in Y^*} y^*}{|Y^*|}

    这种平衡交叉熵首次由 Yao 等人用于文本检测,实际应用效果不错。

  • RBOX 损失

    文本检测的一个挑战在于自然场景中文本尺寸的差异很大,直接使用 L1L_1 或 L2L_2 损失会使大文本区域的损失偏大。为了确保对大小文本区域都有准确的几何预测,损失函数应该具备尺度不变性。

    因此,对于 RBOX 的 AABB 部分,作者采用 IoU 损失;

    LAABB=−log⁡IoU(R^,R∗)=−log⁡∣R^∩R∗∣∣R^∪R∗∣L_{\text{AABB}} = -\log \text{IoU}( \hat{R}, R^* ) = -\log \frac{| \hat{R} \cap R^* |}{| \hat{R} \cup R^* |}

    其中,R^\hat{R} 是预测的 AABB 几何,R∗R^* 是真实值。

    旋转角度的损失为:

    Lθ(θ^,θ∗)=1−cos⁡(θ^−θ∗)L_{\theta}( \hat{\theta}, \theta^* ) = 1 - \cos( \hat{\theta} - \theta^* )

    几何图的总损失为 AABB 和角度损失的加权总和:

    Lg=LAABB+λθLθL_g = L_{\text{AABB}} + λ_{\theta} L_{\theta}

    其中,λθλ_{\theta} 在实验中设置为 10。

  • QUAD 损失

    对于 QUAD,作者基于 Smooth L1 损失,并加入一个针对单词四边形的归一化项,其通常在一个方向上较长。

    所有四边形坐标的有序集合表示为:

    CQ={x1,y1,x2,y2,...,x4,y4}C_Q = \{x_1, y_1, x_2, y_2, ..., x_4, y_4\}

    损失函数表示为:

    Lg=LQUAD(Q^,Q∗)L_g = L_{\text{QUAD}}( \hat{Q}, Q^* ) =min⁡Q′∈PQ∗∑ci∈CQ,ci′∈CQ′smooth L1(ci−ci′)8×NQ∗= \min_{Q' \in P_{Q^*}} \sum_{c_i \in C_Q, c'_i \in C_{Q'}} \frac{\text{smooth L1}( c_i - c'_i )}{8 \times N_{Q^*}}

    其中,归一化项 NQ∗N_{Q^*} 是四边形最短边的长度:

    NQ∗=min⁡i=14D(pi,p(imod  4)+1)N_{Q^*} = \min_{i=1}^{4} D( p_i, p_{(i \mod 4)+1} )

    PQP_Q 表示所有可能的顶点排列,因为公开数据集中四边形的标注顺序并不一致。

训练策略

网络使用 ADAM 优化器进行端到端训练。为了加速学习,从图像中均匀抽取 512x512 的裁切区域来组成大小为 24 的小批量。ADAM 的学习率从 1×10−31 \times 10^{-3} 开始,每 27300 个小批量衰减为原来的十分之一,直到 1×10−51 \times 10^{-5} 为止。

训练过程持续进行,直到性能不再提升。

局部感知的 NMS

在进行阈值筛选后,保留下来的几何形状需要通过 NMS 合并。

传统的 NMS 算法的时间复杂度是 O(n2)O(n^2),其中 nn 是候选几何数量,这在密集预测的情况下是不可接受的,因为在这个情境中,要面对的是成千上万的几何形状。


假设附近像素的几何形状通常高度相关,作者提出“按 row 合并”的方式。

依照 row-first 顺序,迭代地将当前遇到的几何形状与上一个已合并的几何形状合并,再对保留的几何形状运行标准 NMS。这种改进方法在最佳情况下的运行时间复杂度为 O(n)O(n)。虽然最坏情况下与传统的 NMS 相同,但只要局部性假设成立,算法在实践中运行速度就能满足需求。

具体过程如以下:

与传统 NMS 不同,这里采用的是“加权平均”几何形状,而不是“选择”几何形状,这实际上起到了一种投票机制的作用。然而,为了方便理解作者在这里仍然使用“NMS”一词作为功能描述,因为其核心功能仍然是在合并和抑制多余的几何形状。

在函数 WEIGHTEDMERGE(g, p) 中,两个多边形 gg 和 pp 的顶点坐标会根据它们各自的分数进行加权平均。如果将合并后的多边形称为 aa,那么每个顶点的坐标 aia_i 都由两个原始多边形顶点的坐标 gig_i 和 pip_i 根据它们的分数进行加权计算,公式如下:

ai=V(g)gi+V(p)piV(g)+V(p)a_i = \frac{V(g)g_i + V(p)p_i}{V(g) + V(p)}

其中:

  • V(g)V(g) 和 V(p)V(p) 分别是多边形 gg 和 pp 的分数。
  • gig_i 和 pip_i 是这两个多边形的第 ii 个顶点的坐标。
  • aia_i 是合并后多边形 aa 的第 ii 个顶点的坐标。

合并后多边形 aa 的总分数 V(a)V(a) 则是两个原始多边形分数的总和:

V(a)=V(g)+V(p)V(a) = V(g) + V(p)

基准数据集

为了比较所提出的算法与现有方法,作者在三个公开基准数据集:ICDAR2015、COCO-Text 和 MSRA-TD500 上进行实验。

  • ICDAR 2015

    ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试;实验另加入 ICDAR 2013 的 229 张训练图像。文本区域由四个顶点的四边形标注。

  • COCO-Text

    当时规模最大的文本检测数据集,共包含 63,686 张图片,其中 43,686 张用于训练,20,000 张用于测试。文本区域以轴对齐的边界框(AABB)标注,这是 RBOX 的特例。对于此数据集,角度 θθ 被设为 0,并与 ICDAR 2015 相同的数据处理与测试方法。

  • MSRA-TD500

    这是一个多语言、任意方向和长文本行的数据集。包含 300 张训练图像和 200 张测试图像,文本行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。

讨论

ICDAR 2015

单一尺度下 F-score 为 0.7820,多尺度测试后达到 0.8072,明显超越过去的最佳方法(0.8072 vs. 0.6477)。同样使用 VGG16 时,QUAD 输出比文献[41]高出 0.0924,RBOX 输出高出约 0.116。

COCO-Text

对照文献 [41] 时,三种 Backbone 设置的 F-score 均较高。其中 VGG16 的 F-score 为 0.3945,比文献 [41] 的 0.3331 高出 0.0614;Recall 则从 0.271 提升至 0.324。表中的 A、B、C 是数据标注用方法,作者未将其视为有效的检测比较基准。

MSRA-TD500

使用 PVANET2x 时,F-score 为 0.7608;相较文献 [48] 的 0.74,高出 0.0208,Precision 高出 0.0428;相较文献 [41] 的 0.7591,则只高出 0.0017。VGG16 表现较差(F-score 0.7023 vs. PVANET2x 的 0.7608),因为 MSRA-TD500 的评估要求输出文本行级别的预测,而 VGG16 的感受野较小。

可视化结果

结论

本论文设计了一个简单且高效的文本检测框架,通过单一神经网络就能够完成从整图到文本区域的检测,并生成精确的几何预测。这一方法避免了多步骤的复杂处理流程,使得模型更为轻量且易于实现。

在这篇研究中,对于训练方式的讨论没有过多着墨,因此我们无法得知这个架构的设计中,哪个组件对于最终的效果起到了关键作用。但从实验结果来看,这个方法在三个基准数据集上都取得了最佳效果,证明了其在文本检测领域的优越性。