返回论文笔记资料库
arXiv 2022IEEE TPAMI 2023文本检测论文笔记

DBNet++

自适应特征融合

原始论文

Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion

论文作者

Minghui Liao · Zhisheng Zou · Zhaoyi Wan · Cong Yao · Xiang Bai

arXiv 首次提交
arXiv:2202.10304
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textdetectiondbnetpulspuls2022,
  title = {{Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion}},
  author = {Minghui Liao and Zhisheng Zou and Zhaoyi Wan and Cong Yao and Xiang Bai},
  year = {2022},
  eprint = {2202.10304},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2202.10304}
}
本页内容

在撰写 DBNet 系列的笔记时,我们一直在想 DBNet 的名字到底是 DB 还是 DBNet?

在第一版本的论文中,完全没有提到 DBNet 这个名字,因此在其他文献的引用中,全部都称之为 DB。后来在这篇论文中,终于看到作者对于自己模型的称呼叫做 DBNet,因此我们尊重作者的命名,将这个系列的论文称之为 DBNet。

定义问题

延续上一篇论文 DBNet,作者觉得模型还有进步的空间,于是在原有的架构上,优化了特征融合的方式,提出了 DBNet++。

如果你没看过上一篇论文,我们建议你回去看一下,因为这里我们会省略多数重复的细节。

解决问题

模型架构

首先是跟第一版论文几乎一样的架构,我们直接略过。

请直接看到这次改动的地方,也就是上图中:Adaptive Scale Fusion Module 的部分。

自适应尺度融合

自适应尺度融合,论文中称为 Adaptive Scale Fusion(ASF),是作者在 DBNet 的基础上提出的一个新模块。

在原本的设计中,只是单纯地把不同尺度的特征图拼接在一起,然后送入卷积层进行特征融合,就直接接后面的预测分支。

而作者认为这里显然可以做得更细致,因为不同尺度的特征可能有不同的重要性,因此在融合阶段,应该计算出每个尺度在图片各位置的重要性,再决定不同尺度特征的融合程度。

如上图,我们跟著作者的思路一起走一次:

  1. 将四个尺度的特征图调整到相同解析度,拼接后经卷积,得到 C x H x W 的中间特征图。
  2. 以下开始进入 Spatial Attention 的部分:
    1. 沿通道做平均池化,得到 1 x H x W 的特征图,保留各空间位置的信息。
    2. 经过 Conv-ReLU 和 Conv-Sigmoid,再拓展回 C 个通道,尺寸为 C x H x W。
    3. 将这个特征图「加上」原本的中间特征图,再经过 Conv-Sigmoid,得到四个尺度各自的空间权重,尺寸为 N x 1 x H x W,其中 N = 4。
  3. 回到 Adaptive Scale Fusion 的部分:
    1. 将每个尺度的权重拓展到 C 个通道,对应乘上该尺度的输入特征图。
    2. 将四个加权后的特征图沿通道拼接,得到 (N x C) x H x W 的融合特征图。

讨论

和原始 DBNet 的比较

作者在 MSRA-TD500 和 CTW1500 数据集上进行了消融实验,这些模块包括可微分二值化(Differentiable Binarization, DB)、可变形卷积(Deformable Convolution)和自适应尺度融合(Adaptive Scale Fusion)。

我们挑重点看,红色框起来的部分,就是增加了 ASF 模块后的效果。

以表中红框的 ResNet-50、DConv 与 DB 都开启的两列比较,加入 ASF 后,MSRA-TD500 的 Precision 维持 91.5,Recall 从 79.2 升到 83.3;CTW1500 的 Precision 从 86.9 升到 87.9,Recall 从 80.2 升到 82.8。这两组都不能说误报变多;其他设定的 Precision 则有升有降。

整体而言,在上述 ResNet-50、DConv 与 DB 都开启的条件下,F-measure 在 MSRA-TD500 和 CTW1500 上分别提高了 2.3 与 1.9 个百分点(84.9→87.2、83.4→85.3),同时推理速度由 32→29、22→21 FPS。这组结果支持 ASF 模块在两个数据集上的效果。

可视化

这张图每组左侧是文字侦测结果,右上是阈值图,右下是概率图;它展示的是 DB 的输出样例,不能单凭这张图量化 ASF 的增益。

结论

这篇论文中大部分的内容都和先前的 DBNet 一样,我们就不再巨细靡遗地介绍了。

自适应尺度融合模块让模型能够基于输入,自动调整不同尺度特征的融合程度,这样的设计在实验中证明了有效性。虽然在推理中会降低一点推理速度,但是整体而言,提升了大约 2% 的模型的性能。

算起来,也是个很不错的投资!