Turning a CLIP Model into a Scene Text Detector
- 发表版本
- CVPR 2023会议
- arXiv 首次提交
- arXiv:2302.14338
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textdetectiontcm2023,
title = {{Turning a CLIP Model into a Scene Text Detector}},
author = {Wenwen Yu and Yuliang Liu and Wei Hua and Deqiang Jiang and Bo Ren and Xiang Bai},
year = {2023},
eprint = {2302.14338},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2302.14338}
}
对比学习的足迹,已经在许多领域中留下了深刻的印象。
文本检测的研究者们,也理所当然地想来共襄盛举。
定义问题
多模态的应用非常热门,尤其在 CLIP 模型开源之后,那个简单的概念让研究者们趋之若鹜。
大家都想方设法地要把预训练的模型应用在自己的领域上,好搭上最新的潮流。
等一下!你说你还不知道什么是 CLIP?
CLIP
这一章节已经重复好几次了,我们再次简单介绍一下 CLIP。
下图就是 CLIP 架构:
假设我们有一组图像-文本对,其中一对可能是一张狗的图片和文本「一只可爱的小狗」。
在一个训练批次中,CLIP 会接收到多个这样的对。图像编码器可能通过 ResNet 或 ViT 来处理图像,获取图像特征,而文本编码器可能通过 Transformer 来处理文本,获取文本特征。
然后,模型会比较这些特征,以确保正确配对的图像和文本(例如:狗的图像和「一只可爱的小狗」的文本)之间的余弦相似度最大,而错误配对的图像和文本( 例如:狗的图像和「一个苹果」的文本)之间的余弦相似度最小。
最后,使用 4 亿组图像文本对,进行训练。
多模态神经元
在 CLIP 发表后不久,OpenAI 针对 CLIP 模型进行了一些研究,发现了一些有趣的现象。
在这篇论文中指出 CLIP 的神经元有着专业的分工模式,像是有负责处理情绪的神经元或是处理地理位置的神经元。
跟文本比较相关的是下面这张图,我们一起来看看:
最左边的是原始的图像输入,模型对此没有表现出什么差错,都可以正确的认出图片所对应的内容。
但从第二张图开始,就有趣了。
后续的输入中,上面叠加了文本干扰,例如一张「ipad」或「pizza」的文本区块,然后我们惊讶的发现:
- 模型居然就这样被带偏了!
当有文本出现在图片中的时候,模型会优先去辨识文本,而不是图片,这非常反直觉!
所以我们应该要?
OpenAI 的研究者们认为这个一个严重的问题,因为这表示 CLIP 模型对于文本的敏感度过高,在终端应用中可能会受到有心人的攻击。
恶意行为可以通过文本的干扰,来影响模型的辨识结果,最后导向错误(但对攻击者有利)的结果。因此对于 OpenAI 来说,他们要克服的问题就是文本攻击,避免让文本轻易地影响到最终的图像辨识结果。
但对于文本检测的研究者来说:
- 这个不是 Bug 啊,这是 Feature 啊!
原来 CLIP 是个天生亲和文本的模型,这不论是对文本检测和辨识领域都是天大的好消息!
所以我们不只要用,还要狠狠地用!
解决问题
要有效地使用 CLIP 的预训练知识,在过去的文献中已经有许多研究,比较著名的是 CoOp。
简单来说,就是把图像输入 CLIP 的图像分支,得到图像特征;接着把提示文本输入 CLIP 的文本分支,得到文本特征。通过这种方式来转移 CLIP 的知识,进而应用在文本检测的任务上。
这里先从文本分支着手:可学习提示和图像条件线索能调动 CLIP 的预训练知识;图像编码器也会在训练时以较低学习率调整。
在刚才提到的 CoCoOp 的研究中,研究者将图像特征用来产出文本分支的提示,通过自适应的 Prompt learning 的方式来提升文本分支的表现,这个技巧在后续研究中得到广泛的应用。
在这篇文章中,作者也是基于这个技巧,提出了一个提取 CLIP 知识的模型架构。
模型架构
这个模型的架构作者将其命名为 TCM,看起来有点复杂,我们一步一步来看看:
首先作者使用 CLIP 的预训练 ResNet50 作为图像编码器,将输入图像 映射为嵌入向量 ,其中:
公式表示如下:
语言提示生成器
就是上图中的 Language Prompt Generator。
在上一步骤中,我们已经得到图像特征。
接着就是要调动文本分支的知识,这里基于 CoOp 的启发,在文本编码器的输入中加入可学习提示 ,用于增强文本嵌入的迁移能力,公式如下:
语言提示生成器基于刚才得到的图像特征 ,生成提示 ,公式如下:
其中 是由 CLIP 的全局注意力池化取得的图像特征,。生成 后,将它加到每个输入提示向量,得到 。
文本编码器
论文中使用冻结的 CLIP 预训练文本编码器,并设置预定义提示为「Text」。
文本编码器将预设的单类别提示嵌入到连续向量空间,公式如下:
其中 。
把加入图像条件的提示送入文本编码器,得到文本嵌入 :
视觉提示生成器
要看上图中的 Visual Prompt 部分。
这里使用 Transformer 的交叉注意力机制,学习视觉提示 ,传递从图像层级到文本实例层级的信息,公式如下:
图像嵌入经提示调整为:
这个步骤完成后,会得到上图中的 Locality Embeddings。
实例-语言匹配
将文本嵌入 与调整后的图像嵌入 进行点积并经 Sigmoid 激活,生成二元分割图 :
训练时,将分割图 与图像嵌入 拼接后送入检测头;同时用真值 对 施加二元交叉熵损失(BCE Loss):
总损失函数为:
原论文的辅助损失公式漏了负号;这里依其「最小化 BCE」的叙述补上。其中 , 为依据检测方法的损失。
在推理阶段,检测头的输出即为最终结果。
训练策略
使用流行的文本检测方法进行实验,包括 DBNet (DB)、PAN 和 FCENet (FCE)。为保持设置一致性,检测器在 SynthText 和真实数据集上进行训练。除非另有说明,骨干使用 CLIP 的预训练图像编码器 ResNet50。
视觉提示生成器包含 3 层 Transformer 解码器,使用 4 个注意力头,Transformer 宽度为 256,前馈隐藏层维度设为 1024。检测头使用 DBNet、PAN 和 FCENet 的相应检测头来预测最终结果。
评估指标使用交并比(IoU)来判断模型是否正确检测出文本区域,并计算精确率、召回率和 F 值进行比较。为确保公平比较,训练和测试时,所有数据集中标记为「do not care」或「###」的区域将被忽略。
讨论
与现有方法结合
作者在一开始就将 TCM 定义为一个插件式的模型,可以与现有的文本检测方法结合使用。上表是在 IC15、TD 和 CTW 数据集上报告了将 TCM 与三种文本检测方法结合的结果:
- F 值提升:TCM 分别比原始 FCENet、PAN 和 DBNet 在 IC15 数据集上的 F 值分别高出 0.9、1.7 和 1.9 个百分点。TD 和 CTW 数据集也有类似的稳定性能提升。
- 推理速度:表中 TCM-PAN、TCM-FCENet 和 TCM-DBNet 分别为 18、8.4 和 10 FPS,低于各自原版的 36、11.5 和 14.5 FPS;速度是在单张 V100 上以 ResNet50 骨干测得。
预训练 CLIP Backbone
首先测试仅将 DBNet 的原始骨干网络替换为 CLIP 的预训练图像编码器 ResNet50,以量化骨干网络对性能的影响。上表中,CR50 表示使用 CLIP 的图像分支,而 R50 表示使用 DBNet 的原始骨干网络。
结果显示,换成 CLIP 骨干后,IC15 与 TD 的 F 值分别提高 0.4 和 1.9 个百分点,TT 与 CTW 则没有变化;仅替换骨干仍未带来一致的提升。
模型组件的有效性
我们先理解一下上表的各种缩写意义:
- BSL: DBNet Baseline,这张表以 CLIP ResNet50 为骨干的 DBNet 基线。
- PP: Predefined Prompt,预定义提示。
- LP: Learnable Prompt,可学习提示。
- LG: Language Prompt Generator,语言提示生成器。
- VG: Visual Prompt Generator,视觉提示生成器。
- TCM: 完整的模型配置。
使用预定义提示时(上表第二行),性能在四个数据集(IC15、TD、TT、CTW)上均有小幅提升,分别比基线方法高出 0.05、0.2、0.04 和 0.1 个百分点。
将可学习提示与预定义提示结合使用时(上表第三行),显示可学习提示可以带来一致的性能提升。
与数量设置为 4 相比,当数量为 32 时,四个数据集的 F 值均有所提高。这可能是因为更多的可学习提示可以更好地引导预训练文本编码器的知识,对文本检测更有帮助。为了简化后续实验,默认可学习提示数量设置为 4。
作者也评估了语言提示生成器的性能(上表第七行)。
在语言提示生成器的帮助下,TCM 在四个数据集上的性能进一步提高,尤其是在 ICDAR2015 上的表现,表明语言提示生成器生成的条件线索有助于这四组测试的侦测表现;跨数据集泛化仍需看后面的迁移实验。
结合视觉提示生成器与其他组件时,F 值在四个数据集上均比基线更高,完整 TCM 使用 32 个可学习提示时,IC15 和 TD 相对基线分别提高 1.7 和 2.0 个百分点。
这一明显的互补现象是由于视觉提示生成器可以从文本特征中传播细粒度的视觉语义信息。
此外,视觉提示生成器生成的提示局部图像嵌入能引导模型获得更准确的文本实例级别视觉表征,增强了实例-语言匹配能力,并生成有助于下游检测头的精确分割图。
VG 和 LG 对泛化性能的消融实验
如果将 TCM 中的视觉提示生成器(VG)和语言提示生成器(LG)移除,会导致泛化性能显著下降,进一步证明了 VG 和 LG 的有效性。
冻结编码器实验
一般来说,使用 CLIP 时,为了保持原本模型的知识,我们会冻结文本编码器,只训练图像编码器。这里作者对图像编码器和文本编码器的学习率因子进行了调整,研究了冻结编码器对性能的影响。
结果显示,在这四组设置中,图像编码器使用 0.1 倍学习率、文本编码器冻结时,TD500 的 F 值最高(88.7%)。
增加训练数据
为了进一步探讨 TCM 是否能学习到仅通过增加数据难以获得的额外知识,作者进行了以下实验:
- 训练数据:使用包含 IC13、IC15、TD、CTW、TT 和 MLT17 在内的大规模公共数据集(共计 13,784 张图像)训练模型。
- 测试数据:在从 ArT 精心收集的夜间数据(326 张图像)上测试模型。夜间样本示例如下图所示。
实验结果如下表:
即使增加了大量训练数据,现有方法在应对与训练集分布明显不同的夜间数据时仍显示出局限性。在这组 NightTime-ArT 测试中,TCM-DBNet 的 F 值为 70.2%,高于 DBNet 的 52.8% 和 FCENet 的 55.2%。
增加参数量
为了公平比较,作者增加了 DBNet 的参数量,将骨干替换为更大的 ResNet,并在 TD500 数据集上进行实验:
TCM-DBNet 的参数量和计算量为 50M、156G,介于 DBNet-R101 与 R152 之间;其 F 值为 88.7%,高于 DBNet-R152 的 87.3%。
辅助损失的影响
最后作者比较了在 TD500 数据集上使用和不使用辅助损失的结果:
结果显示使用辅助损失的模型性能更高。辅助损失通过对实例-语言匹配得分图施加约束,有助于提升模型的训练效果。
跨数据集泛化
作者测试了从 IC13 训练、迁移至 IC15 与 TD 的结果。TCM-DBNet 的 F 值分别为 71.9% 和 65.1%,高于同表 DBNet 基线的 63.9% 和 53.8%。
结论
大家都想用 CLIP 来强化自己的模型,这篇论文就是一个很好的例子。
本文提出了 TCM 方法,可在无需额外预训练的情况下,直接从 CLIP 模型中挖掘先验知识并应用于场景文本检测,可以说是创建了一个新的文本检测范式。
虽然在现阶段的实验中,TCM 的性能提升并不是很明显,但是从跨数据集泛化的实验结果来看,说明预训练多模态的模型,可以提供更广泛的知识,有助于提升模型的泛化能力。
整体来看,TCM 为之后的研究提供了一个很好的思路和探索方向。