DiffusionSTR: Diffusion Model for Scene Text Recognition
- 发表版本
- ICIP 2023会议
- arXiv 首次提交
- arXiv:2306.16707
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{textrecognitiondiffusionstr2023,
title = {{DiffusionSTR: Diffusion Model for Scene Text Recognition}},
author = {Masato Fujitake},
year = {2023},
eprint = {2306.16707},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2306.16707}
}
做研究的逻辑有时候很简单:
看到别的领域有什么好东西,拿过来试试看,或许就是一篇论文。
定义问题
扩散模型已经流行好几年了,主要的应用还是集中在图像生成领域上。
这么新鲜的东西,不如...
拿来做文字辨识吧!
解决问题
模型架构
扩散模型的概念可以讲个三天三夜,这里就不多说了,我们假设你已经是扩散模型的高手。
作者这里引入扩散模型,用来作为文字辨识的基底。
整个架构的设计非常简单,首先将一个图像使用 ViT 进行编码,得到图像的特征表示。
接着,以噪声填充的序列作为输入,通过 Transformer 在视觉特征的条件下,生成逐步精炼的序列,此过程重复次,最终输出序列。
最后,经由 FFN 转换为辨识的文字序列,并且字符感知头部负责预测字符的位置。
扩散模型包含前向和逆向过程:
- 前向过程:原始扩散模型将数据点 逐步加入噪声至高斯噪声 ;这篇处理离散字符序列,改用多项式扩散模型。
- 逆向过程:通过逐步去噪重建原始数据 。
作者使用了多项扩散模型来处理字符这类离散变量,并引入了特殊标记,如[EOS](文字结束)、[PAD](填充)、[MASK](噪声)等。
训练时使用简化的损失函数,并采用均方误差损失进行稳定训练。
除此之外,没有使用任何语言模型。因为作者认为语言模型的分支会让模型架构更为复杂,这样难以直观的看出扩散模型的效果。
Transformer 架构
这里作者使用带有时间位置编码的 Transformer 解码器来转换扩散模型中的序列。
与传统 Transformer 相比,有以下几个不同点:
- 引入视觉特征 来进行文字序列的条件化处理,通过交叉注意力机制实现。
- 同时输出所有字符的概率,而不是一次只预测一个字符。(不使用自回归机制)
- 输出结果有两种用途:一是通过 FFN 转换为文字序列,二是输入字符感知头部来预测字符区域是否为真实字符。
在训练过程中,随机抽取一个时间步 ,依噪声排程 生成带有噪声的序列 ,再由 预测 并计算损失。
在推理过程从填充有噪声标记([MASK])的序列 开始,并在视觉编码器生成的视觉特征 的条件下进行 次迭代,最终获得 ,最后,将经由 FFN 转换为辨识的文字序列。
最后作者提出了一个字符感知头部来进行文字辨识,其主要解决固定长度序列中的字符分类问题。预测头进行二元分类,判断一个位置是否对应于一个字符(1)或非字符(0),损失函数采用二元交叉熵。
讨论
与其他方法的比较
上表比较了仅用 MJ 和 ST 训练的各方法,在六个测试集上的单字准确率。
DiffusionSTR 在多个数据集上表现优异,且与最新的强力方法相较具竞争力。
ABINet 和 PARSeq 使用了强大的语言模型,而 TRBA 则采用了图像校正模组作为前处理。尽管 DiffusionSTR 结构较简单,没有使用这些技术,但仍能达到相似的准确度。
扩散模型的优势
从图中的辨识例子,作者观察到 DiffusionSTR 在以下情况的结果:
- 噪声图像:部分例子比 PARSeq 辨识得更准确。
- 模糊图像:部分例子仍能辨识出文字。
字符感知头部影响
实验显示了字符感知头部的效果:移除后,六个测试集的平均准确率从 91.8% 降到 63.4%。
扩散步骤影响
上表显示了总步骤数对准确度的影响:100 步到 2000 步从 17.6% 升到 91.9%,但 4000 步降为 91.3%。
在 1000 步之后,这组实验的准确率大致趋于饱和。
结论
本文提出的方法是利用视觉讯息有条件地细化噪音文字序列,这和现有的方法截然不同。在验证集上,DiffusionSTR 和最先进的方法相比也毫不逊色,证明了该方法的有效性。
这个新颖的思考方式,让研究者们看到了扩散模型在文字辨识上的潜力。