返回论文笔记资料库
arXiv 2023ICIP 2023文本识别论文笔记

DiffusionSTR

噪声中的文字讯号

原始论文

DiffusionSTR: Diffusion Model for Scene Text Recognition

论文作者

Masato Fujitake

发表版本
ICIP 2023会议
arXiv 首次提交
arXiv:2306.16707
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{textrecognitiondiffusionstr2023,
  title = {{DiffusionSTR: Diffusion Model for Scene Text Recognition}},
  author = {Masato Fujitake},
  year = {2023},
  eprint = {2306.16707},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.16707}
}
本页内容

做研究的逻辑有时候很简单:

看到别的领域有什么好东西,拿过来试试看,或许就是一篇论文。

定义问题

扩散模型已经流行好几年了,主要的应用还是集中在图像生成领域上。

这么新鲜的东西,不如...

拿来做文字辨识吧!

解决问题

模型架构

扩散模型的概念可以讲个三天三夜,这里就不多说了,我们假设你已经是扩散模型的高手。

作者这里引入扩散模型,用来作为文字辨识的基底。

整个架构的设计非常简单,首先将一个图像使用 ViT 进行编码,得到图像的特征表示。

接着,以噪声填充的序列xTx_T作为输入,通过 Transformer 在视觉特征的条件下,生成逐步精炼的序列xT−1x_{T-1},此过程重复TT次,最终输出序列x0x_0。

最后,x0x_0经由 FFN 转换为辨识的文字序列,并且字符感知头部负责预测字符的位置。

扩散模型包含前向和逆向过程:

  • 前向过程:原始扩散模型将数据点 x0x_0 逐步加入噪声至高斯噪声 xTx_T;这篇处理离散字符序列,改用多项式扩散模型。
  • 逆向过程:通过逐步去噪重建原始数据 x0x_0。

作者使用了多项扩散模型来处理字符这类离散变量,并引入了特殊标记,如[EOS](文字结束)、[PAD](填充)、[MASK](噪声)等。

训练时使用简化的损失函数LsimpleL_{\text{simple}},并采用均方误差损失进行稳定训练。

除此之外,没有使用任何语言模型。因为作者认为语言模型的分支会让模型架构更为复杂,这样难以直观的看出扩散模型的效果。

Transformer 架构

这里作者使用带有时间位置编码的 Transformer 解码器来转换扩散模型中的序列。

与传统 Transformer 相比,有以下几个不同点:

  1. 引入视觉特征 zz 来进行文字序列的条件化处理,通过交叉注意力机制实现。
  2. 同时输出所有字符的概率,而不是一次只预测一个字符。(不使用自回归机制)
  3. 输出结果有两种用途:一是通过 FFN 转换为文字序列,二是输入字符感知头部来预测字符区域是否为真实字符。

在训练过程中,随机抽取一个时间步 tt,依噪声排程 αt,αˉt\alpha_t, \bar{\alpha}_t 生成带有噪声的序列 xtx_t,再由 Dec(xt,z,t)\text{Dec}(x_t, z, t) 预测 xt−1x_{t-1} 并计算损失。

在推理过程从填充有噪声标记([MASK])的序列 xTx_T 开始,并在视觉编码器生成的视觉特征 zz 的条件下进行 TT 次迭代,最终获得 x0x_0,最后,将x0x_0经由 FFN 转换为辨识的文字序列。

最后作者提出了一个字符感知头部来进行文字辨识,其主要解决固定长度序列中的字符分类问题。预测头进行二元分类,判断一个位置是否对应于一个字符(1)或非字符(0),损失函数采用二元交叉熵。

讨论

与其他方法的比较

上表比较了仅用 MJ 和 ST 训练的各方法,在六个测试集上的单字准确率。

DiffusionSTR 在多个数据集上表现优异,且与最新的强力方法相较具竞争力。

ABINet 和 PARSeq 使用了强大的语言模型,而 TRBA 则采用了图像校正模组作为前处理。尽管 DiffusionSTR 结构较简单,没有使用这些技术,但仍能达到相似的准确度。

扩散模型的优势

从图中的辨识例子,作者观察到 DiffusionSTR 在以下情况的结果:

  1. 噪声图像:部分例子比 PARSeq 辨识得更准确。
  2. 模糊图像:部分例子仍能辨识出文字。

字符感知头部影响

实验显示了字符感知头部的效果:移除后,六个测试集的平均准确率从 91.8% 降到 63.4%。

扩散步骤影响

上表显示了总步骤数对准确度的影响:100 步到 2000 步从 17.6% 升到 91.9%,但 4000 步降为 91.3%。

在 1000 步之后,这组实验的准确率大致趋于饱和。

结论

本文提出的方法是利用视觉讯息有条件地细化噪音文字序列,这和现有的方法截然不同。在验证集上,DiffusionSTR 和最先进的方法相比也毫不逊色,证明了该方法的有效性。

这个新颖的思考方式,让研究者们看到了扩散模型在文字辨识上的潜力。