返回论文笔记资料库
arXiv 2021CVPR 2021文本检测论文笔记

FCENet

傅里叶的指引

原始论文

Fourier Contour Embedding for Arbitrary-Shaped Text Detection

论文作者

Yiqin Zhu · Jianyong Chen · Lingyu Liang · Zhanghui Kuang · Lianwen Jin · Wayne Zhang

发表版本
CVPR 2021会议
arXiv 首次提交
arXiv:2104.10442
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectionfcenet2021,
  title = {{Fourier Contour Embedding for Arbitrary-Shaped Text Detection}},
  author = {Yiqin Zhu and Jianyong Chen and Lingyu Liang and Zhanghui Kuang and Lianwen Jin and Wayne Zhang},
  year = {2021},
  eprint = {2104.10442},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2104.10442}
}
本页内容

你打开这篇论文,想看点文字检测的技术。

却猝不及防地被傅里叶迎面撞上,两眼一黑,倒在地上。

傅里叶变换

数学家约瑟夫・傅里叶在 19 世纪初提出这套数学工具,之后在各个领域中大杀四方,威风凛凛上百年。

傅里叶的核心思想非常简单:

  • 在适当的周期性等条件下,信号可以表示为正弦波和余弦波的叠加。

就像拆解音乐中的每一个音符一样,傅里叶变换帮助我们从原本看似混乱的时间或空间信号中,找出它的频率组成。

相关应用范围早已超越了数学和物理的范畴,它出现在工程学、医学、天文学,甚至现在的深度学习技术中。

但,就算我们想要「简单地」介绍傅里叶变换,仍然会占用过多的篇幅,所以我们另外写了一篇文章来介绍这个主题:

如果你还不清楚傅里叶变换是什么,可以先去点过去看看。

定义问题

多方向的扭曲文字,一直都是研究者的重点难题。

现有的方法,大多基于空间域的表示,例如每个像素的掩码或轮廓点序列,采用的是笛卡尔坐标系或极坐标系。但这些方法存在一些缺点:

  • 掩码表示需要高昂的计算成本,并且对大规模训练数据有较高依赖。
  • 轮廓点序列表示对高度弯曲的文字建模能力有限。

所以我们需要的是一种简洁且具有良好泛化能力的文字实例表示方式。

既然空间域的问题难解,那不然我们改变一下思路,从频域来看看?

那么,傅里叶就决定是你了!

解决问题

傅里叶轮廓嵌入

原文为 Fourier Contour Embedding,简称 FCE。

FCE 使用一个复数值函数 f:R→Cf : \mathbb{R} \to \mathbb{C} 来表示闭合的「文字轮廓」:

f(t)=x(t)+iy(t),f(t) = x(t) + iy(t),

其中 ii 是虚数单位,(x(t),y(t))(x(t), y(t)) 为时间 tt 下的空间座标。

由于 f(t)f(t) 是闭合轮廓,因此 f(t)=f(t+1)f(t) = f(t + 1)。

通过傅里叶逆变换 (Inverse Fourier Transformation, IFT),f(t)f(t) 可表达为:

f(t)=∑k=−∞+∞cke2πikt,f(t) = \sum_{k=-\infty}^{+\infty} c_k e^{2\pi i k t},

其中 ckc_k 是频率 kk 对应的复数傅里叶系数。

每个 cke2πiktc_k e^{2\pi i k t} 表示一个特定频率的圆周运动。

  • 低频:负责轮廓的整体形状。
  • 高频:负责轮廓的细节。

本论文的实验结果显示:仅保留 −K-K 到 KK 的低频成分(实验中 K=5K = 5,共 11 个复数系数)即可取得良好的轮廓近似,形成傅里叶签名向量(Fourier signature vector)。

在实际应用中,文字轮廓的函数形式未知,因此需将函数 f(t)f(t) 离散化为 NN 个点:

{f(nN)},n=1,…,N.\{f\left(\frac{n}{N}\right)\}, \quad n = 1, \dots, N.

傅里叶系数 ckc_k 可通过傅里叶变换计算:

ck=1N∑n=1Nf(nN)e−2πiknN,c_k = \frac{1}{N} \sum_{n=1}^N f\left(\frac{n}{N}\right) e^{-2\pi i k \frac{n}{N}},

其中 ck=uk+ivkc_k = u_k + i v_k,uku_k 为实部,vkv_k 为虚部。

当 k=0k = 0 时,系数表示采样轮廓点的平均位置,而不一定是封闭区域的面积质心:

c0=u0+iv0=1N∑nf(nN),c_0 = u_0 + iv_0 = \frac{1}{N} \sum_n f\left(\frac{n}{N}\right),

最终的傅里叶签名向量为:

[u−K,v−K,…,u0,v0,…,uK,vK].[u_{-K}, v_{-K}, \dots, u_0, v_0, \dots, u_K, v_K].

FCE 采样流程

由于不同数据集的轮廓点数量不同,例如 CTW1500 有 14 点,Total-Text 有 4 至 8 点。

作者通过重采样统一格式,在轮廓上等距选取固定数量的点(实验中为 N=400N=400)。

为了保证签名向量的稳定性,对重采样过程进行以下限制:

  • 起始点:设置为轮廓中心水平线与轮廓的最右交点。
  • 采样方向:沿顺时针方向进行。
  • 均匀速度:相邻采样点间距相等。

模型架构

先撇开看不懂傅里叶的问题,这篇论文的设计其实非常简单明了。

基于 FCE 的无锚文字检测网络,作者命名为:FCENet。

FCENet 采用 ResNet50(搭配可变形卷积 DCN)作为主干,并以 FPN(特征金字塔网络)提取多尺度特征。其特征图 P3P_3、P4P_4 和 P5P_5 分别负责小、中、大尺度文字。

这个部分使用的方法和之前的作品差不多,我们这里不再赘述。

预测头部分为两个分支:

  1. 分类分支

    上图中的上半部,Classification Branch,又分成两个子分支:

    • 每像素的文字区域 (Text Region, TR) 掩码预测。
    • 文字中心区域 (Text Center Region, TCR) 掩码预测,与 TR 分数逐像素相乘,以抑制边界附近质量较低的预测。
  2. 回归分支

    这个就是本论文的核心目标了:这里要为文字区域中的每个像素预测傅里叶签名向量;同一文字实例的签名向量除中心位置系数 c0c_0 外相同,c0c_0 会随像素原点改变。

    在上一章节提到的计算傅里叶签名向量,目的就是为了要在这里提供训练目标。

    模型预测结果会通过傅里叶逆变换 (IFT) 重建候选轮廓,再经 NMS 取得检测结果,如下图:

损失函数

总损失为:

L=Lcls+λLreg,L = L_\text{cls} + \lambda L_\text{reg},

其中 λ=1\lambda=1。

分类损失 LclsL_\text{cls} 和回归损失 LregL_\text{reg} 分别如下:

  1. 分类损失

    Lcls=Ltr+LtcrL_\text{cls} = L_\text{tr} + L_\text{tcr}

    其中 LtrL_\text{tr} 和 LtcrL_\text{tcr} 为文字区域与中心区域的交叉熵损失。论文对 LtrL_\text{tr} 使用 OHEM,将负样本与正样本比例设为 3:1;并未说明 LtcrL_\text{tcr} 也采用这个比例。

  2. 回归损失

    为了直接优化空间域内的检测质量,而非傅里叶签名向量间的距离,设计损失为:

    Lreg=1N′∑i∈T∑n=1N′wil1(F−1(nN′,ci),F−1(nN′,c^i)),L_\text{reg} = \frac{1}{N'} \sum_{i \in T} \sum_{n=1}^{N'} w_i l_1\left(F^{-1}\left(\frac{n}{N'}, c_i\right), F^{-1}\left(\frac{n}{N'}, \hat{c}_i\right)\right),

    其中:

    • l1l_1 为 smooth L1 \text{smooth L1} 损失。
    • F−1F^{-1} 为傅里叶逆变换。
    • TT 为文字区域像素集合。
    • cic_i 和 c^i\hat{c}_i 分别为真实与预测的傅里叶签名向量。
    • wiw_i 为权重,中心区域内像素 wi=1w_i=1,否则 wi=0.5w_i=0.5。
    • 采样点数 N′=50N'=50,避免过拟合。

训练数据集

  • 1. CTW1500

    • 包含中英文文字,并以文字行(text-line)级别标注。
    • 数据量:1000 张训练图片,500 张测试图片。
  • 2. Total-Text

    • 包含多场景数据,包括类似文字的背景干扰及低对比度文字。
    • 标注为单词级别的多边形。
    • 数据量:1255 张训练图片,300 张测试图片。
  • 3. ICDAR2015

    • 针对多方向街景文字设计的数据集,单词级别标注由四个顶点表示。
    • 数据量:1000 张训练图片,500 张测试图片。

讨论

FCE 评估

理论上,任何闭合且连续的轮廓都能通过增加 FCE 的傅里叶阶数 KK 获得更好的拟合。

根据上图的结果,仅需小的 KK 即可对大部分任意形状的文字轮廓进行满意的拟合,这说明了 FCE 的强大表征能力。

将 FCE 与近期最新的任意形状文字检测方法 TextRay 进行比较,如下图:

对于高曲率文字,TextRay 无法精确拟合真实轮廓,显示出其在建模高曲率文字方面的局限性。相较之下,FCE 在拟合这类文字轮廓时表现出了高度的准确性。

从这组轮廓拟合示例来看,K=5K=5 的 FCE 使用 22 维实数参数,TextRay 则使用 44 维;在图示的高曲率文字上,FCE 的拟合更贴近标注轮廓。

消融实验

为了验证 FCENet 各个组件的有效性,作者在 CTW1500 和 Total-Text 数据集上进行了消融实验,结论如下:

  • 文字中心区域 (TCR) 损失:只加入 TCR 时,相较两项都不使用的基线,CTW1500 与 Total-Text 的 F 值分别提高 1.5 与 0.4 个百分点。
  • 回归损失:在已有 TCR 的设置下,再加入轮廓回归损失,两个数据集的 F 值分别提高 6.9 与 9.3 个百分点;两项都使用时,F 值为 85.5% 与 85.8%。

泛化能力

为了验证 FCE 的泛化能力,作者在 CTW1500 数据集上进行缩减训练数据的实验。将训练数据减少至原数量的 50% 和 25%,和其他方法(如 DRRG、TextRay、ABCNet)进行比较。

表中使用的是不含 DCN 的 FCENet†。在 50%/25% 训练数据下,它的精确率分别为 84.9%/81.9%,F 值为 80.3%/78.7%,均高于同表三个对照方法;这支持它在 CTW1500 少量数据设置下的表现。

和其他方法的比较

  • Ext: 代表使用额外训练数据
  • †: 代表简化版本 FCENet†,不含 DCN

在 CTW1500 和 Total-Text 数据集上,FCENet 与其他最新方法进行了比较,结果如下:

  • 精确率 (P) 和 F 值 (F):FCENet 在 CTW1500 取得表中最高的两项数值;在 Total-Text 的精确率 89.3% 与 PAN 的额外数据版本并列最高,F 值 85.8% 最高。
  • 召回率 (R):达到具有竞争力的结果。

在 ICDAR2015 数据集上,FCENet 未使用额外训练数据,F 值为 86.2%,低于表中数个方法。

FCENet 的后处理包含 IFT 和 NMS。即使使用不含 DCN 的 ResNet50 作为主干网络,FCENet† 在 CTW1500、Total-Text 与 ICDAR2015 的 F 值仍分别达到 83.1%、83.4% 与 84.6%;这组设置与 ABCNet 同为不含 DCN 的 ResNet50,但其他训练条件仍须分开看。

高度曲线文字

最后,作者从 CTW1500 选出 106 个高曲率文字样本作为子集,用于评估模型在高曲率文字上的检测能力。

图中的四栏依序是 TextRay、ABCNet、FCENet 与标注轮廓。对应的论文 Table 4 中,FCENet 在这个子集的 F 值为 79.2%,比 TextRay 的 74.0% 与 ABCNet 的 72.6% 分别高 5.2 与 6.6 个百分点。

结论

傅里叶的优雅毋庸置疑。

本文提出的傅里叶轮廓嵌入方法,能精准表征任意形状的文字轮廓,尤其在高曲率文字的拟合上表现卓越。FCENet 通过预测傅里叶签名向量并进行逆变换来重建文字轮廓,以 IFT 和 NMS 简化后处理步骤,在准确性和实用性之间达到平衡,特别适合复杂轮廓和曲线文字的检测。

傅里叶方法不仅是数学工具,更是解决实际问题的有力手段。通过 FCE 和 FCENet,作者为任意形状文字检测提供了高效实用的解决方案,并为未来的文字形状建模拓展了可能性。