Real-time Scene Text Detection with Differentiable Binarization
- 发表版本
- AAAI 2020会议
- arXiv 首次提交
- arXiv:1911.08947
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectiondbnet2019,
title = {{Real-time Scene Text Detection with Differentiable Binarization}},
author = {Minghui Liao and Zhaoyi Wan and Cong Yao and Kai Chen and Xiang Bai},
year = {2019},
eprint = {1911.08947},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1911.08947}
}
几篇论文看下来,我们大概也知道了在文本检测领域,主流模型是基于分割的方法来完成。
分割,其实说穿了就是直接预测文本区域的像素值,这样的方法有个天生的缺点:
- 难以分离相邻或相互接触的文本实例。
在多类别语义分割中,可以为不同类别分别输出通道。但文本 A 和文本 B 同属「文本」一类;只按类别划分通道,仍无法区分这两个实例。
真要说,也不是不行,那就是我们直接给定输出 1000 通道,让模型自行决定要让哪一个文本区域落在哪一个通道上,这样或许就能区分相邻的文本实例。
但一个通道只用来表示一个文本区域,难道不觉得太浪费了吗?基于分割的输出都是高分辨率的图像,这么多通道能不能顺利地跑训练都是个问题。而且话又说回来,我们怎么知道该给多少通道呢?
基于对运算资源的浪费,这条路显然是行不通的。
定义问题
一些主流的研究,对于这种问题的解决方法是:先找出文本核心,再来想办法,如同上图中的「蓝线」的流程。
像是 PSENet,它先找出文本核心,再向外搜索扩展成文本区域;或是 PAN,它先找出文本核心,再用聚类聚合区域像素;又或是 TextSnake,它先预测文本中心线,再用几何属性重建文本区域。
而这篇论文的作者认为,这样的方法有个共同的缺点:太慢了!
或许我们该让模型自己学会把不同的文本实例「切」开来,而不是搭配一个复杂的后处理。
解决问题
模型架构
架构本身不是本篇论文的重点,就我们看来,这个架构也没有什么特别的地方。
如上图,根据我们的标注,红色框起来的部分是 Backbone,在论文中用的是 ResNet-18 和 ResNet-50;绿色框起来的部分是 FPN,用来提取不同尺度的特征。
这里取得多尺度的特征图之后,将所有特征图放大到相同的尺度,然后使用 Concat 操作将这些特征图串接在一起,用于最后预测头的输入。
预测头的部分分成两个部分:
第一个部分用来做文本区域的像素级预测,其他文献的做法也都也这一个分支。
第二个部分是本篇论文的重点:阈值图的预测。
阈值图,在论文中称为 Threshold Map,提供每个像素自适应的二值化阈值。训练时,它与文本区域的概率图一起输入可微分二值化函数,产生近似二值图,帮助分开相邻文本;推论时可只用概率图产生结果,省去阈值分支。
这个部分的操作在论文中可能没有写得这么清楚,我们看一下程序实作:MhLiao/DB
首先是文本区域的预测分支:
self.binarize = nn.Sequential(
nn.Conv2d(inner_channels, inner_channels //
4, 3, padding=1, bias=bias),
BatchNorm2d(inner_channels//4),
nn.ReLU(inplace=True),
nn.ConvTranspose2d(inner_channels//4, inner_channels//4, 2, 2),
BatchNorm2d(inner_channels//4),
nn.ReLU(inplace=True),
nn.ConvTranspose2d(inner_channels//4, 1, 2, 2),
nn.Sigmoid())
看起来是输入 FPN 的特征图,经过一系列的卷积、反卷积操作,最后用 Sigmoid 输出 0~1 之间的值,这个值代表了文本区域的概率。
再来是阈值图的预测分支:
self.thresh = nn.Sequential(
nn.Conv2d(in_channels, inner_channels //
4, 3, padding=1, bias=bias),
BatchNorm2d(inner_channels//4),
nn.ReLU(inplace=True),
self._init_upsample(inner_channels // 4, inner_channels//4, smooth=smooth, bias=bias),
BatchNorm2d(inner_channels//4),
nn.ReLU(inplace=True),
self._init_upsample(inner_channels // 4, 1, smooth=smooth, bias=bias),
nn.Sigmoid())
这里也是输入 FPN 的特征图,经过一系列的卷积、上采样的操作,最后用 Sigmoid 输出 0~1 之间的值,这个值代表每个像素的自适应阈值。
训练时将文本区域的概率图减去阈值图,再经过可微分函数得到近似二值图:
def forward(self, features, gt=None, masks=None, training=False):
# ...省略 FPN 特徵融合程式碼...
# 計算文字區域圖
binary = self.binarize(fuse)
if self.training:
result = OrderedDict(binary=binary)
else:
# 如果是推論模式,直接用文字區域圖回傳
return binary
# 如果是訓練模式
if self.adaptive and self.training:
if self.serial:
fuse = torch.cat(
(fuse, nn.functional.interpolate(
binary, fuse.shape[2:])), 1)
# 計算閾值圖
thresh = self.thresh(fuse)
# 計算近似二值圖
thresh_binary = self.step_function(binary, thresh)
# 加上閾值圖與近似二值圖,供訓練監督
result.update(thresh=thresh, thresh_binary=thresh_binary)
return result
# 二值化函數
def step_function(self, x, y):
return torch.reciprocal(1 + torch.exp(-self.k * (x - y)))
看到这边,终于发现本篇论文的标题为何是「可微分二值化网络」了!
上面程序中的 step_function 就是本论文提到的二值化函数,输入分别是文本区域图和阈值图,把两者相减后,输出接近 0 或 1、但仍连续可微的近似二值图。
你会觉得非常眼熟:
这个 torch.reciprocal(1 + torch.exp(-self.k * (x - y))) ......
嘿!这不就是 Sigmoid 函数吗!
差别在于,这里的 Sigmoid 函数多了一个参数 ,这个参数控制函数的陡峭程度;每个像素的阈值由阈值图提供。论文将 设为 50。
所以其实这个函数现在变成这样:
如果你自己带入数值进去算算看,当前面系数设置为 50 的时候,这个函数的图形会变成一个非常陡峭的阶梯函数,「几乎」就是二值化函数,差别在于这个函数是可微分的。
标签生成
这个部分的算法来自 PSENet 的启发:
给定一张文本图像,每个文本区域的多边形可由一组线段描述:
其中 为顶点数,不同的数据集可能有不同的顶点数,例如 ICDAR 2015 数据集为 4 个顶点;DBNet 原论文此处写 CTW1500 为 16 个顶点,但 CTW1500 原始论文的标注规格是 14 个顶点。
接着,正样本区域通过使用 Vatti 裁剪算法将多边形 收缩为 来生成。
收缩的偏移量 由原始多边形的周长 和面积 计算得到:
其中 为收缩比例,经验上设置为 0.4。
使用类似的过程,用来生成阈值图的标签。
首先,将文本多边形 以相同的偏移量 扩张为 。接着,考虑 和 之间的区域作为文本边界,在此区域中,阈值图的标签可以通过计算到 中最近线段的距离来生成。
损失函数
损失函数 可以表示为概率图损失 、二值图损失 和阈值图损失 的加权总和:
其中 是概率图的损失, 是二值图的损失。根据数值, 和 分别设为 1.0 和 10。
论文对概率图损失 和近似二值图损失 使用相同形式的二元交叉熵(BCE)损失。为了解决正负样本数不平衡的问题,在 BCE 损失中使用了困难负样本挖掘,通过采样困难负样本来平衡正负样本比例。
具体损失计算公式如下:
其中 是经过采样的集合,正负样本比例为 1:3;上式补上 BCE 应有的负号,原论文式 (8) 漏写此符号。作者公开的损失函数实作则对概率图使用 BCE、对近似二值图使用 Dice Loss。
阈值图损失 是预测值与标签在扩张文本多边形 内的 距离的总和:
其中 是扩张多边形 内像素的索引集合, 是阈值图的标签。
在推论阶段,作者为了提高效率,使用概率图生成边界框,这样可以省略阈值分支。
边界框生成过程包括三个步骤:
-
将概率图或近似二值图以固定阈值 0.2 进行二值化,得到二值图
-
从二值图中获取连通区域(收缩的文本区域)
-
使用 Vatti 裁剪算法扩张这些收缩区域,偏移量 的计算公式如下:
其中 是收缩多边形的面积, 是收缩多边形的周长, 经验上设为 1.5。
训练数据集
-
SynthText
该数据集用于对模型进行预训练。这是一个大规模数据集,包含约 80 万张合成图像。这些图像由自然场景与随机字体、大小、颜色和方向的文本混合而成,具有很高的现实感。
-
CTW1500
CTW1500 是一个针对长曲线文本检测的挑战性数据集,由 Yuliang 等人建构。该数据集包含 1000 张训练图片和 500 张测试图片。不同于传统文本数据集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文本实例是由 14 个点的多边形标注,可以描述任意曲线文本的形状。
-
Total-Text
Total-Text 是一个新发布的曲线文本检测数据集,包含水平、多方向及曲线文本实例。该基准数据集包括 1255 张训练图片和 300 张测试图片。
-
ICDAR 2015
ICDAR 2015 是文本检测中常用的数据集,包含 1500 张图片,其中 1000 张用于训练,剩下的用于测试。文本区域由四个顶点的四边形标注。
-
MSRA-TD500
这是一个多语言、任意方向和长文本行的数据集。包含 300 张训练图像和 200 张测试图像,文本行标注为行级标注。由于训练集较小,实验中加入了 HUST-TR400 数据集的图像作为训练数据。
-
ICDAR 2017 MLT
IC17-MLT 是一个大规模的多语言文本数据集,包括 7200 张训练图片、1800 张验证图片和 9000 张测试图片。该数据集由来自 9 种语言的完整场景图像组成。
讨论
消融实验
根据上表,使用可微分二值化技术显著提升了两个数据集(MSRA-TD500 和 CTW1500)上的性能。在不使用可变形卷积的 ResNet-18 设置下,DB 在 MSRA-TD500 和 CTW1500 上的 F 值分别提升了 3.7 和 4.9 个百分点,且推论时移除阈值分支后,表中的 FPS 不变。
相较于相同骨干且未使用 DB 的设置,可变形卷积带来 1.5 到 5.0 个百分点的 F 值提升,因为它为骨干网络提供了灵活的感受野,且只需少量额外时间。在 CTW1500 上,未使用 DB 时 ResNet-18 和 ResNet-50 的 F 值分别提升了 3.6 和 4.9 个百分点。
尽管有无监督的阈值图在外观上相似,但加上监督后可以提升性能。上表显示,阈值图的监督在 MLT-2017 数据集上,对 ResNet-18 提升了 0.7 个百分点,对 ResNet-50 提升了 2.6 个百分点。
在骨干网络的比较中,使用 ResNet-50 的检测器性能优于 ResNet-18,但运行速度较慢。
曲线文本实验结果
Total-Text 实验结果
CTW1500 实验结果
根据上表,DB 在准确率和速度上都达到了最新的领先水准。
本文方法在 Total-Text 和 CTW1500 两个弯曲文本基准上证明了其形状稳健性。
DB-ResNet-50 在 Total-Text 和 CTW1500 上的 F 值,分别比表中此前最佳方法高出 1.1 和 1.2 个百分点。此外,DB-ResNet-50 的 FPS 高于表中有提供速度数据的对比方法,且通过使用 ResNet-18 骨干可以进一步提升速度,仅带来少量的性能下降。
ICDAR 2015 实验结果
ICDAR 2015 实验结果
ICDAR 2015 数据集是一个包含大量小尺寸和低分辨率文本实例的多方向文本数据集。
根据上表,DB-ResNet-50 (1152) 在准确性上达到了最新的最佳性能。与表中此前最快的 EAST 相比,DB-ResNet-50 (736) 的 F 值高出 7.2 个百分点,速度约为两倍。
使用 ResNet-18 作为骨干时,DB-ResNet-18 (736) 能以 48 FPS 运行,F 值达到 82.3%。
可视化结果
上图每组图像右侧,上方是预测的阈值图,下方是概率图;绿色轮廓是经后处理得到的检测结果。
结论
DB 提出了一种新的可微分二值化技术;推理时可省略阈值分支,再用概率图和简单的后处理生成检测区域。这种技术可以提高文本检测的性能,并且在多个基准数据集上取得了最新的最佳性能。
在实务上,DB 算是很常被用来部署的模型,最主要的原因是因为它的速度快。还有就是架构简单,好训练!在各大 OCR 架构上都可以看到相关实作,例如 PaddleOCR、MMOCR 等,都可以看到 DB 的身影。
如同我们刚才所看到的,通篇文章最困难的地方就在于二值化函数的实现。(恩?)
最后,这个架构主要缓解了相邻文本黏连的问题,让可以切分的区域更加明显;真正相互重叠的文本仍然困难,且让我们继续期待后续的研究。