模型设计
天下本无事,庸人自扰之。
对,我们就是在找自己的麻烦,一边觉得很烦,一边又觉得有趣。
二阶段识别模型
二阶段模型指的是将 MRZ 识别分为两个阶段:定位与识别。
根据这个思路,我们可以开始着手设计相关模型,首先来看看定位模型。
定位模型
MRZ 区域的定位大概可以分成两个方向:
-
定位 MRZ 区域角点:
图片来源:MIDV-2020 合成数据集
这和之前我们做过的文档定位的项目类似,只是这里把文档换成 MRZ 区域。
不同的地方在于文档定位的角点是「真实」存在于图面上,不需要模型去「凭空想像」出一个角点。反观 MRZ 区域,我们需要模型去「猜测」出这个角点。
事实证明,用这种方式做出来的模型很不稳定,只要你稍微晃动一下护照,模型预测的角点就会在 MRZ 区域周边到处乱跑。
-
分割 MRZ 区域:
图片来源:MIDV-2020 合成数据集
这个方法就比较稳定了,因为我们可以直接用分割模型去预测 MRZ 区域的范围。MRZ 区域上的文本也是真实存在于图面上,不需要模型做「多余」的臆测。这样一来,我们就可以直接将 MRZ 区域分割出来,不需要再去担心角点的问题。
我们采用的是分割的方法。
在真实使用的场景中,用户所拿的护照必然带有一些倾斜,因此我们需要对 MRZ 区域进行校正,使其变成一个正确的矩形。
损失函数的部分我们参考了一份综述性的论文:
在上面这篇论文中,针对过去几年间所提出的各种用于分割的损失函数进行统一的比较和介绍,并且针对现有的问题提出一个解决方案,也就是:Log-Cosh Dice Loss。
有兴趣的读者可以参考这篇论文,这里就不再赘述了。
在我们的实验中,单纯使用 Log-Cosh Dice Loss 的效果差强人意,最后还要搭配像素分类损失 CrossEntropyLoss 以及像素回归损失 SmoothL1Loss 来进行训练。
识别模型
识别模型就比较简单了,因为我们已经将 MRZ 区域分割出来,只需要将这个区域丢进文本识别模型,就可以得到最终的结果。
在这个阶段,我们可以有几个设计方向:
-
切分字符串,逐一识别:
有些 MRZ 是两行文本,例如 TD2 和 TD3 格式;有些 MRZ 是三行文本,例如 TD1 格式。我们可以将这些文本逐一切分,然后进行识别。
识别模型需要处理的就是将一串文本图像转成文本输出,可以用的方法有很多,例如早期流行的 CRNN+CTC,或是现在比较流行的 CLIP4STR 之类的。
这个方法有很多缺点,例如 MRZ 区域还分成两行或三行因此需要增加判定逻辑,或是某些证件的 MRZ 间距窄小,导致文本难以区分等问题。
-
整张 MRZ 裁切图像一起识别:
由于 MRZ 区域的长宽比例差距不大,所以我们完全可以将整张 MRZ 区域裁切下来,然后一次识别整张图像。这种情况下,特别适合使用 Transformer 的模型来解决这个问题。
举例来说,如果你只要使用 Transformer Encoder 的架构,那模型设计可以是这样:
由于自注意力机制的关系,因此可能会有多个 Token 同时指向同一个文本的情况,这时候如果使用一般的解码方式,可能会让模型感到困惑:
明明就是这个文本的图像,为什么要解码成另外一个文本?
经过我们的实验,在这里使用 CTC 的方式进行文本解码的效果会比较好,因为每个 Token 都来自于「某个」文本区域的图像,我们只需要在最后阶段对输出结果合并,就可以得到最终的文本结果。
当然,考虑到你可能不喜欢 CTC,觉得那是个麻烦的东西,那也可以考虑采用 Encoder-Decoder 的架构,模型设计可以是这样:
这种方式可以直接解码字符串,不需要再经过一层 CTC,因为输入 Decoder 的 token 就是对文本的查找,每个 token 都负责找出对应顺序的文本。
误差传播
这时候其实可以回过头去讨论角点的问题。
所有二阶段的模型都会面临到一个共同的问题:误差传播。
我们都相信这世界上不存在 100% 准确的模型,因为我们永远都无法对统计母体进行建模,所以凡规则必有例外,凡模型必有误差。不管上面选择哪种方式,最后都会面临到同样的困难:
- 角点估计不准确
正因为角点估计不准确,导致校正后的 MRZ 区域不准确;又因为 MRZ 区域不准确,导致文本识别的不准确,如此这般,成为一个误差传播的标准教材。
单阶段识别模型
单阶段的首要困难就是多尺度特征。
MRZ 的区域会随着用户拍摄角度的不同而有所变化,这就意味着我们在开始侦测文本之前,必须先对图片进行多尺度的处理。
模型架构
Backbone
刚好最近 Google 发布了新论文:MobileNet-V4,这个模型有针对移动设备上的性能进行优化,这对我们来说是一个很好的消息,直接拿来用。
这次我们就用它来做为我们的 Backbone,使用 timm 的预训练权重,输入图像尺寸设置为 512 x 512 的 RGB 图像。
Neck
为了更好地融合多尺度的特征,我们引入了 BiFPN。通过上下文信息的双向流动,增强了特征的表达能力。BiFPN 会产生一系列尺度丰富且语义强的特征图,这些特征图对于捕捉不同尺度的对象非常有效,并对最终的预测精度有正面影响。
我们在消融实验的时候,有试着移除这个部分,改成直接使用 Backbone 输出的特征图,但 Train 不起来。
Patchify
前面都是中规中矩的常规操作。
接着都是我们自己的天马行空的尝试了。
首先我们得把每个阶段的特征图转换成 Transformer 的输入格式,这里我们使用一般的卷积操作,将特征图转换成一个个的 Patch。
以下是我们的一些设置:
-
Patch Size: 4 x 4。
我们手动测量一下 MRZ 区域内的文本大小,发现小字大概是 4~8 个像素,再小就看不清楚文本内容。大字的部分尺寸不固定,根据拍摄距离来决定。因此我们考量到这个因素,将 Patch Size 设置为 4 x 4。
-
每个特征图有一组对应的 Patch Embedding 和 Position Embedding。
由于每个特征图的尺度不一样,所以不能共用同一组 Embedding,这样会导致不同尺度的特征图无法正确地进行信息交换。我们有考虑过设计一组共享的 Embedding,但实现起来较复杂,我们暂时放弃这个想法。
Patch Embedding 的部分,我们有测试过 Shared Weighted 的方式,就是所有特征图都共用同一个 Conv2d 来进行 Embedding,但效果很差。
Cross-Attention
最后我们使用了 Cross-Attention 的方式来进行文本识别。
我们随机初始化了 93 个 Token。
- 为什么是 93 个?
这是考虑到 MRZ 最长的格式为 TD1,共有 90 个字符。又 TD1 有三行,因此需要 2 个「分隔」字符。接着还需要一个「结束」字符,共 93 个。
连接字符的部分我们使用 &,结束字符的部分我们使用 [EOS]。如果有多余的位置,我们会以 [EOS] 作为边界,后续字符不进行监督,模型想怎么预测就怎么预测,我们不会再去理会。
Transformer decoder 的部分,我们给的基本设置是这样:
- 维度: 256
- 层数: 6
- 注意力头: 4
- Dropout: 0
- Normalization: Post-LN
这个架构的主要设计理念:我们帮 Decoder 准备好一个「多尺度」的特征空间,让 Decoder 可以自由地选择不同尺度的特征来进行文本识别。其中我们不需要关心文本在图像中的位置,这个问题全权交给模型自己想办法解决。
还有更多
在整个实验过程中,我们有留下一点实验纪录,我们一并写在这里,或许能对你有所帮助。
-
维度 64 和 128 的模型都可以收敛,但每减半一次维度,模型的收敛速时间加倍。
我们的训练设备是 RTX4090,训练一个 256 维度的模型需要 50 小时左右;训练一个 128 维度的模型需要 100 小时左右;训练一个 64 维度的模型需要 200 小时左右。
为什么没有试 512 维度?因为这样会让模型变得太大,就超过 100 MB 了,这个大的模型不是我们想要的。
-
添加额外的分支,例如 Polygon 或是文本的中心点位置等,可以提升模型的收敛速度。
但是不好用啊!收集数据已经很困难,还要找到数据的 MRZ 区域,还要标记这些数据,显然不适合推广。
最后收敛效果类似,对整体的贡献不大。
-
移除 Neck。
还是可以收敛,但是时间多三倍,得仔细想想。
-
移除位置编码。
不收敛。
-
调整 Weight Decay 从 到 。
提早收敛,但是泛化能力降低。
小模型天生带有一定的范式效果,因此不需要太强的 Weight Decay。
-
使用 Pre-LN。
提早收敛,但是泛化能力降低。
Pre-LN 会一定程度地降低模型深度,因此对于小模型来说,不能再降了。
-
增加更多图像增强。
为了加快实验的脚步,我们控制 MRZ 图像的旋转角度在正负 45 度之间。
我们尝试使用全方位的旋转和更多其他图像增强,但这个规模的模型承受不起这么多的图像增强,直接导致不收敛。
结论
我们认为目前单阶段的模型设计,还少了一些关键性的组件,这个部分我们之后会持续阅读更多的文献,并且进行更多的实验。
或许加大模型规模肯定是最有效的方式。难就难在该如何用「轻量」的参数规模,来满足上面所有的需求,这也是我们接下来需要思考的问题。
但之前我们也说了,这个题目实际上用「二阶段」的解决方案就可以稳定的解决几乎所有场景。如果你真的想做的话,我们还是会建议你回过头去开发一个二阶段的模型,这样会省去很多不必要的麻烦。