返回论文笔记资料库
arXiv 2020CVPR 2020端到端文本识别论文笔记

ABCNet

贝塞尔曲线的问候

原始论文

ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network

论文作者

Yuliang Liu · Hao Chen · Chunhua Shen · Tong He · Lianwen Jin · Liangwei Wang

发表版本
CVPR 2020会议
arXiv 首次提交
arXiv:2002.10200
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textspottingabcnet2020,
  title = {{ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network}},
  author = {Yuliang Liu and Hao Chen and Chunhua Shen and Tong He and Lianwen Jin and Liangwei Wang},
  year = {2020},
  eprint = {2002.10200},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2002.10200}
}
本页内容

OCR 已经发展好些年了,但文本检测和识别任务仍然是个有挑战性的问题。

定义问题

文本检测和识别是 OCR 两个主要任务。

文本检测是在图像中找到文本的位置,许多方法借鉴了「目标检测」和「目标分割」。但文本常常都以歪斜、变形、或曲线排列的样子出现,这些特性使得文本检测变得更加困难。

文本识别是在找到文本的位置后,将文本转换成可识别的字符。但受限于文本检测的误差,文本识别的准确率也会受到影响。因此有许多方法基于「不规则文本」为前提,直接假设输入的文本是不规则的,并且直接对不规则的文本进行识别,后续衍生出许多像是基于 STN 或是二维注意力机制的方法。

回顾过去的方法,如下图:

作者认为这些多阶段的复杂设计,让整个系统变得复杂又很慢,实际应用中难以维护且不实用。为了解决文本变形的问题,作者从外观上的形状出发,引入了「贝塞尔曲线」来拟合文本的形状,并且提出自适应贝塞尔曲线网络 ABCNet,同时处理文本检测和识别。

等等,什么贝塞尔曲线?那是什么?

贝塞尔曲线

贝塞尔曲线是一种数学曲线,用来描述平滑曲线的形状。 它在电脑图形设计、字体制作、动画、UI 设计等领域中非常常见,帮助创作各种曲线效果。其曲线是通过一组控制点来生成的。曲线的起点和终点是控制点的头尾,而中间的控制点决定曲线如何弯曲。这些控制点不一定在曲在线,但会影响曲线的形状。

由于贝塞尔曲线在不同大小的缩放下依然保持平滑。因此它可以用来描述各种形状,从直线到曲线,甚至是复杂的几何形状。

最后我们可以来感觉一下不同阶的贝塞尔曲线,以及它们的形状:

  • 一次(线性)贝塞尔曲线:两个控制点之间的直线。

    • B(t)=(1−t)P0+tP1,0≤t≤1B(t) = (1 - t) P_0 + t P_1, \quad 0 \leq t \leq 1

  • 二次(抛物线)贝塞尔曲线:有三个控制点。

    • B(t)=(1−t)2P0+2(1−t)tP1+t2P2,0≤t≤1B(t) = (1 - t)^2 P_0 + 2(1 - t)t P_1 + t^2 P_2, \quad 0 \leq t \leq 1

  • 三次贝塞尔曲线(最常用):四个控制点,用于字体、动画、UI 设计等。

    • B(t)=(1−t)3P0+3(1−t)2tP1+3(1−t)t2P2+t3P3B(t) = (1 - t)^3 P_0 + 3(1 - t)^2 t P_1 + 3(1 - t) t^2 P_2 + t^3 P_3

  • 四次贝塞尔曲线:五个控制点。

    • B(t)=(1−t)4P0+4(1−t)3tP1+6(1−t)2t2P2+4(1−t)t3P3+t4P4B(t) = (1 - t)^4 P_0 + 4(1 - t)^3 t P_1 + 6(1 - t)^2 t^2 P_2 + 4(1 - t) t^3 P_3 + t^4 P_4

  • 五次贝塞尔曲线:六个控制点。

    • B(t)=(1−t)5P0+5(1−t)4tP1+10(1−t)3t2P2+10(1−t)2t3P3+5(1−t)t4P4+t5P5B(t) = (1 - t)^5 P_0 + 5(1 - t)^4 t P_1 + 10(1 - t)^3 t^2 P_2 + 10(1 - t)^2 t^3 P_3 + 5(1 - t) t^4 P_4 + t^5 P_5

解决问题

看完贝塞尔曲线,好像就读完这篇论文了。(并没有)

模型架构

作者采用单阶段、无锚框(anchor box)的检测架构,使用贝塞尔曲线来描述文本的形状,并且提出了一个端到端的训练框架,用于检测与识别任意形状的文本。

贝塞尔曲线的部分我们刚刚在上面有提到,经过分析,作者认为三次贝塞尔曲线可以有效表示大多数弯曲文本形状。因此,他们使用 8 个控制点来描述边界框中的文本形状。

控制点的回归学习是通过相对距离的方式进行的,这样可以简化模型的设计,并且提高模型的准确性,其数学式如下:

Δx=bix−xmin,Δy=biy−ymin\Delta x = b_i^x - x_{\text{min}}, \quad \Delta y = b_i^y - y_{\text{min}}

其中 xminx_{\text{min}} 和 yminy_{\text{min}} 是四个顶点的最小 xx 和 yy 值。

检测头中的曲线控制点回归支路只需要额外一层卷积层,输出 16 个通道以学习 Δx\Delta x 和 Δy\Delta y,添加的计算成本很小。

贝塞尔曲线数据生成

目前的训练数据集中,没有贝塞尔曲线的标注数据。

因此,作者提出了一种基于现有标注数据生成贝塞尔曲线的 Ground Truth 的方法。

这个方法是利用Total-Text 和 CTW1500 等数据集中的多边形标注点,通过最小二乘法,找到三次贝塞尔曲线的最佳参数:

[B0,3(t0)⋯B3,3(t0)B0,3(t1)⋯B3,3(t1)⋮⋱⋮B0,3(tm)⋯B3,3(tm)][bx0by0bx1by1bx2by2bx3by3]=[px0py0px1py1⋮⋮pxmpym]\begin{bmatrix} B_{0,3}(t_0) & \cdots & B_{3,3}(t_0) \\ B_{0,3}(t_1) & \cdots & B_{3,3}(t_1) \\ \vdots & \ddots & \vdots \\ B_{0,3}(t_m) & \cdots & B_{3,3}(t_m) \end{bmatrix} \begin{bmatrix} b_{x0} & b_{y0} \\ b_{x1} & b_{y1}\\ b_{x2} & b_{y2}\\ b_{x3} & b_{y3}\\ \end{bmatrix} = \begin{bmatrix} p_{x0} & p_{y0} \\ p_{x1} & p_{y1} \\ \vdots & \vdots \\ p_{xm} & p_{ym} \end{bmatrix}

其中标注点来自文本上、下两条边界,各自拟合一条三次贝塞尔曲线;tt 根据边界折线的累积长度比例计算,范例如下图:

训练数据合成

为了训练端到端场景文本检测模型,需要大量合成的免费数据来进行模型训练。然而,现有的 SynthText 数据集 (共 80 万张图像) 仅为大部分直文本提供了四边形边界框,难以涵盖任意形状的场景文本需求。因此,作者进一步扩充数据集,合成 15 万张多样化的图像,以提升模型对于弯曲文本的检测能力。

新数据集的构成如下:

  • 94,723 张图像:包含大多为直文本。
  • 54,327 张图像:包含大多为弯曲文本。

数据源如下:

  • 使用 VGG 合成方法 来生成这些合成图像。
  • 选取 4 万张无文本背景图像来自 COCO-Text 数据集。

在从 COCO-Text 中取得的背景图像上为每个背景准备分割掩码。同时准备每张背景的场景深度信息,以提升文本与背景之间的融合效果。为了增加文本形状的多样性,作者对 VGG 合成方法进行了改进,加入了不同风格的艺术字体和丰富的文本语料库,并对生成的文本进行曲线变形和多样化排版,仿真各种场景中的文本样式。每一组文本实例都会自动生成多边形标注,描述其外型。

此外,作者会将多边形标注转换为三次贝塞尔曲线的 Ground Truth,确保模型能精准拟合各种弯曲文本的外型,提升检测效果。这些处理简化了数据的生成流程,且能有效增强模型对任意形状场景文本的检测能力,满足真实场景应用的需求。

合成数据结果如下:

贝塞尔校正法

传统采样方法如下:

BezierAlign 是基于 RoIAlign 的延伸,但与 RoIAlign 不同,它使用「非矩形的采样网格」来对齐特征。特征对齐网格的每一列均与贝塞尔曲线的边界垂直,保证了对齐效果的准确性。采样点在宽度和高度上均等距分布,并使用双线性插值(bilinear interpolation)来计算采样结果。

给定特征图与贝塞尔曲线的控制点后,就可以计算出矩形输出特征图的每一像素位置。

假设输出特征图的大小为 hout×wouth_{\text{out}} \times w_{\text{out}},计算过程如下:

  • 将第 ii 个像素 gig_i 的水平位置记为 (giw,gih)(g_{iw}, g_{ih})。

  • 通过以下公式计算参数 tt:

    t=giwwoutt = \frac{g_{iw}}{w_{\text{out}}}
  • 使用 tt 和贝塞尔曲线方程,计算上边界点 tpt_p 与下边界点 bpb_p。

  • 根据 tpt_p 和 bpb_p,通过以下公式计算采样点 opo_p 的位置:

    op=bp⋅gihhout+tp⋅(1−gihhout)op = bp \cdot \frac{g_{ih}}{h_{\text{out}}} + tp \cdot \left(1 - \frac{g_{ih}}{h_{\text{out}}}\right)
  • 有了 opo_p 的位置后,即可进行双线性插值来计算最终结果。

BezierAlign 能沿弯曲文本区域采样特征,供后续识别分支使用。下图比较的是不同采样网格的位置;识别分数的量化比较见后面的消融实验。

文本预测头

基于与检测分支共用的骨干网络特征以及 BezierAlign,作者设计了一个轻量级的文本识别分支,如上表。

  • 卷积层:共 6 层,前 4 层的步幅为 1,后 2 层的垂直步幅为 2、水平步幅为 1。
  • Average Pooling:在高度方向进行平均池化,将输出尺寸压缩为 (n,256,1,w)(n, 256, 1, w)。
  • 通道排列:调整张量形状,输入至 BLSTM。
  • BLSTM:输出大小为 (w,n,512)(w, n, 512),有助于捕捉文本的双向序列信息。
  • 全连接层:最终输出为 (w,n,nclass)(w, n, n_{\text{class}}),其中 nclass=97n_{\text{class}} = 97,涵盖大小写字母、数字、符号、其他特殊符号以及代表结束符号的 EOF。

训练阶段,识别分支直接从贝塞尔曲线的 GT 中提取 RoI 特征,避免早期检测边界误差直接影响识别分支的采样;两分支仍共用骨干并联合训练。识别输出与文本标注的对齐使用「CTC Loss」。

推论阶段,RoI 区域由检测分支中得到的贝塞尔曲线结果替代,确保文本能准确对齐于弯曲区域。

训练配置

  • 使用 ResNet-50 搭配特征金字塔网络(FPN)。
  • 在 5 个不同分辨率的特征图上使用 RoIAlign:
    • 特征图分辨率为输入图像的 1/8,1/16,1/32,1/64,1/1281/8, 1/16, 1/32, 1/64, 1/128。
  • 在 3 个不同大小的特征图上应用 BezierAlign:
    • 特征图大小为输入图像的 1/4,1/8,1/161/4, 1/8, 1/16。
  • 使用公开的英文单词级数据集进行预训练,包括:
    • 15 万张合成数据。
    • 从 COCO-Text 数据集中筛选出的 1.5 万张图像。
    • ICDAR-MLT 数据集中的 7,000 张图像。
  • 预训练后,在目标数据集的训练集中进行微调。

数据增强策略如下:

  • 随机缩放训练:
    • 短边尺寸随机选择在 560 到 800 之间。
    • 长边尺寸限制为不超过 1333。
  • 随机裁切(Random Crop):
    • 确保裁切后的区域至少为原图的一半,且不会切断文本。
    • 若遇到特殊情况无法满足条件,则不进行裁切。

硬件环境如下:

  • 使用 4 块 Tesla V100 GPU 进行训练。
  • 每批量的图像数量为 32。

训练参数如下:

  • 最大迭代次数:150,000 次。
  • 初始学习率:0.01。
  • 学习率调整:
    • 在第 70,000 次迭代时降至 0.001。
    • 在第 120,000 次迭代时进一步降至 0.0001。

整个训练过程约 3 天完成。

讨论

作者基于 Total-Text 数据集进行比较和消融实验,结果如下:

BezierAlign 性能分析

为了验证 BezierAlign 的效果,作者在 Total-Text 上进行消融实验,探讨采样点数量对结果的影响,如上表所示:

实验结果显示:采样点数量显著影响最终的性能和运算速度。

采样点为 (7,32) 时,表列 F-measure 为 61.9%、速度为 22.8 FPS,是作者选用的准确率与速度折衷。与先前的采样方法比较时,BezierAlign 的端到端文本识别 F-measure 为 61.9%,高于水平采样的 38.4% 和四边形采样的 44.7%:

贝塞尔曲线性能分析

表中不加入贝塞尔曲线检测时为 22.8 FPS,加入后为 22.5 FPS;在这项消融测试中,额外成本很小。

Total-Text 上的实验结果

作者将 ABCNet 与其他方法进行比较,如上表所示:

  • 单尺度推理:ABCNet 在无词典/完整词典设置下分别达到 64.2%/75.7%,速度为 17.9 FPS;较快的 ABCNet-F 是 61.9%/74.1%、22.8 FPS。
  • 多尺度推理:ABCNet-MS 达到表中最高的 69.5%/78.4%,速度降为 6.9 FPS。不同方法使用的训练数据与骨干不尽相同,跨方法比较须保留这些条件。
  • ABCNet-F 与表中 Mask TextSpotter’19 比较,速度为 22.8 对 2.0 FPS,约快 11.4 倍;其无词典 F-measure 则为 61.9% 对 65.3%。

结论

ABCNet 采用单阶段、无锚框的密集检测设计,引入了贝塞尔曲线,并且提出了 BezierAlign 层,用于对齐特征图与贝塞尔曲线的边界,提升了文本检测与识别的准确度。此外,作者还提出了一种新的数据合成方法,用于生成多样化的文本图像,进一步提升了模型的泛化能力。

这篇论文的设计理念对于未来的文本检测和识别任务提供了新的视角和发展方向,值得进一步研究和探讨。