返回论文笔记资料库
arXiv 2023IEEE TIP 2024文本识别论文笔记

CLIP4STR

多模态的祝福

原始论文

CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model

论文作者

Shuai Zhao · Ruijie Quan · Linchao Zhu · Yi Yang

arXiv 首次提交
arXiv:2305.14014
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitionclip4str2023,
  title = {{CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model}},
  author = {Shuai Zhao and Ruijie Quan and Linchao Zhu and Yi Yang},
  year = {2023},
  eprint = {2305.14014},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.14014}
}
本页内容

对比学习的风,吹得到处都是。

在对比学习之后的多模态学习,更是近年来的热点,进而衍生出一个全新的名词:

  • VLM,Vision-Language Models。

在业界,不论男女老少,都能开口吼上一句:VLM!

既然如此,文字识别领域的研究者们,怎么样也得来凑个热闹,是不是?

定义问题

面对旋转、弯曲、模糊或遮挡的文字,场景文字识别(Scene Text Recognition, STR)的表现总是不尽人意。

同样的问题,一晃数十年。这次,我们来点新花样。

CLIP 在 2021 年提出,随后便以其强大的跨模态学习能力,成为了热门话题。CLIP 能够在自然图片中感知并理解多样文字变体,这种能力,对 STR 来说,是一种潜在的解决方案。

等一下!什么是 CLIP?

这个画风怎么变得这么快?

CLIP

我们知道你懒得看,所以这里简单介绍一下 CLIP。

下图就是 CLIP 架构:

假设我们有一组图像-文字对,其中一对可能是一张狗的图片和文字「一只可爱的小狗」。

在一个训练批次中,CLIP 会接收到多个这样的对。图像编码器可能通过 ResNet 或 ViT 来处理图像,获取图像特征,而文字编码器可能通过 Transformer 来处理文字,获取文字特征。

然后,模型会比较这些特征,以确保正确配对的图像和文字(例如:狗的图像和「一只可爱的小狗」的文字)之间的余弦相似度最大,而错误配对的图像和文字(例如:狗的图像和「一个苹果」的文字)之间的余弦相似度最小。

非常简单的架构!

最后,堆上 4 亿组图像文字对,开始训练!

所以呢?

这代表什么?

这代表训练完成后,我们可以用自然语言搜索图片;反过来,也可以把图片和候选文字描述进行匹配。CLIP 本身不直接生成描述。如果训练数据里有 STR 任务那样的文字图像,CLIP 的图像特征就可能与图中文字的含义有关联。

  • 文字图像与其文字内容有关联?这不就是 STR 要解决的问题吗!

而且 CLIP 的训练数据来自于真实世界所存在的各种样态,表示其中所产出的特征可以从更高的维度来理解这个世界,不再受限于原本 STR 任务中的训练数据,进而提升 STR 的表现。

最明显的就是歪斜扭曲或是严重遮挡的文字,由于 CLIP 的训练数据中存在我们「难以想像」样态,因此 CLIP 有机会可以找出这些文字的特征。

零样本测试

为了验证这个想法,首先作者在 CLIP 上进行了零样本测试。

看看 CLIP 对于「文字」到底有多少理解,最左边是输入的文字,中间是注意力可视化结果,最右边是候选类别的分类结果,并非自由形式的 OCR 转录:

我们惊讶地发现:在这个候选类别分类实验里,CLIP 确实会注意到字啊!

而且当遇到遮挡的文字时,如上图中的 +occluded,CLIP 会自动考量文字和背景的关系,最后把分类概率近乎平均地分给 cat 和 horse!

解决问题

所以,既然 CLIP 已经存在了部分的文字理解能力,我们现在要做的就是「引导」它,让它专注在 STR 这个任务上。

模型架构

我们假设你已经很熟悉 CLIP 了,所以我们直接开始介绍这个架构。


CLIP 有两个分支,文字分支和图像分支。

在 CLIP4STR 的架构中,首先将图像输入「CLIP 图像分支」,获取图像特征。接着把这个特征输入自定义的「image decoder」,解析特征,输出预测文字。

如上图,输入一张图,让模型首先会输出「briiad」,这个输出可能不正确,因此接着把这个输出文字再输入「CLIP 文字分支」,获取文字特征。

最后把文字特征和图像特征拼接,输入一个自定义的「cross-modal decoder」,修正文字预测。推理时,两个分支先依序进行自回归预测,之后还能以 cloze mask 反复修正,最后取跨模态分支的输出。

其中「CLIP 文字编码器」只冻结部分层数;图像编码器则可训练。来自跨模态解码器的梯度不会回传到图像编码器,让视觉分支仍能独立学习。

你可以发现,在这里「CLIP 文字分支」的主要功能可视为「错字校正」,而不是文字的生成。

文字解码器

还记得我们刚提到的「cross-modal decoder」模块吧!

这个模块沿用 PARSeq 的排列序列建模与 Transformer 解码器设计。视觉解码器和跨模态解码器的架构相同,差别在于第二层注意力读取的特征:前者使用图像特征,后者使用「CLIP 文字编码器」与「CLIP 图像编码器」拼接后的特征;两者都使用 token 层级的特征。

讨论

与其他方法的比较

上表列出九组 STR 基准的比较,并区分合成数据与真实数据的训练条件。CLIP4STR 在其中多项基准取得较高准确率;比较时仍须对照各列的训练数据与模型大小。

基础消融实验

实验开始以仅包含视觉分支的 ViT-S 编码器作为基线,此编码器无预训练。

  1. 引入 PSM 技术,并遵循 PARSeq 的训练配方,带来 0.7 个百分点的准确率提升。
  2. 将编码器替换为 CLIP 的图像编码器 ViT-B/16,平均准确率从 89.9% 变为 90.0%,提升有限,显示需要进一步适应。
  3. 修改训练参数,将 patch 大小调整至 16×16,设置较小的学习率给编码器,解码器则使用较大学习率,并将训练轮数减少至 16 轮。

调整到这里,模型即已超越先前 SOTA 性能。

  1. 增加跨模态分支,并使用 CLIP 所有 token 的特征,使九组基准的平均准确率由 90.8% 提升至 91.2%;若只使用 [CLASS] 与 [EOS],则为 90.6%(原论文 v4 Table V 新增的行,上图未列出)。
  2. 引入较大模型 ViT-L/14 后,准确率再增 0.7 个百分点。

CLIP-ViT-L/14 在 STR 上的收敛速度比 CLIP-ViT-B/16 更快,仅需 10 轮训练即可。

CLIP 该怎么冻结?

#Params 表示可训练参数,token 表示仅使用预训练 token embedding。
上半部是冻结文字分支,下半部是冻结图像分支。


常见的冻结策略有两种:

  1. 冻结 CLIP 文字编码器的部分层数:默认冻结 12 层中的 6 层,并比较其他冻结层数。
  2. 冻结 CLIP 图像分支:这样会使得图像分支无法进行训练,可能会影响最终的表现。

作者在这里进行了一系列的实验。冻结文字编码器的不同层数,五组基准的结果各有升降;大量冻结图像编码器时,性能下降较明显。

即使只使用 CLIP 文字编码器预训练的固定 token embedding,系统仍能达到接近默认设置的性能。作者据此认为,STR 所需的文字语义主要涉及词汇与短语,与一般语言理解任务有所不同。

冻结图像模型对性能影响较大,可能由于 STR 数据与 CLIP 图像编码器的预训练数据之间的域(domain)差距所致。

CLIP 预训练使用的主要为自然图片,而 STR 数据则为裁剪后的词语图片;表中的结果支持让 CLIP4STR 的图像编码器保持可训练,以缩小这一差距。

多模态真的有用吗?

为了验证多模态的预训练是否真的有用,作者把「图像分支」重新训练。

实验尝试了三种不同的图像编码器:

  • 随机初始化的 ViT:没有预训练。
  • ImageNet-1K 预训练的 ViT:使用 ImageNet-1K 预训练。
  • ImageNet-21K 预训练的 ViT:使用 ImageNet-21K 预训练。

这张表只比较 CLIP4STR-B 的视觉分支。图像文字对预训练在五组基准中有四组高于从头训练,Uber 则同为 86.6%;ImageNet-1K 与 ImageNet-21K 预训练在这五组基准都低于从头训练。

能不能来点 PEFT?

除了全面微调的方式,针对大型预训练模型的参数高效微调方法 (Parameter-Efficient Fine-Tuning, PEFT) 也逐渐流行,例如 CoOp 仅训练可学习的前缀提示 (prefix prompts),而 CLIP-Adapter 则在冻结的 VLM 模型之上加入可调节的线性层。

考虑到这些 PEFT 方法在一些任务中表现良好,作者也在本文尝试将其应用于 STR,设计了两种 PEFT 方法:

  1. CLIP-Adapter:在冻结的 CLIP 顶层加入两个线性层,设置残差相加比例 λ=0.2\lambda = 0.2。
  2. LST:在冻结的 CLIP 上使用一个梯式侧向网络,将特征先降采样,再上采样以配合原特征维度。

这张表只比较 CLIP4STR-B 的视觉分支。CLIP-Adapter 的性能优于仅冻结模型的版本,但未达到完全微调模型的性能。而 LST 的表现相对更佳,显著提升了模型准确率,但仍低于完全微调模型。

如果在训练资源有限的情况下,LST 可以作为一个较佳的选择。

结论

多模态的模型架构已经在近几年的各个不同领域的任务中取得了巨大的成功,这篇研究也展示了 CLIP 在 STR 任务中的应用,并取得了 SOTA 的性能。

路不是走到了尽头,而是该转弯了。