评估模型
我们采用了两个评估指标,用来查看模型的性能:
标准化编辑距离
英文是 Average Normalized Levenshtein Similarity,简称 ANLS。这个指标用来衡量模型预测的文本与真实文本之间的相似度。
它基于 Levenshtein 编辑距离计算,即将预测结果转换为真实值所需的最少编辑操作(插入、删除、替换)的数量,并进行标准化,使其值介于 0 到 1 之间,数值越高代表预测结果越接近真实答案。
举个例子:
- 真实文本:
hello - 预测文本:
helo
Levenshtein 距离 = 1(少了一个 l),计算公式为:
- 标准化后的相似度计算后为 0.8,表示预测结果与真实值的相似度较高。
这个指标特别适用于 OCR 场景,当部分错误的识别仍然可接受时,可作为评估标准。
全图正确率
这就是我们常看到的 Accuracy,这个指标用来衡量模型对整张图片的识别正确率。如果模型预测的所有文本完全正确,则该图片视为「正确识别」,否则视为「错误」。
Accuracy 以百分比表示,计算方式为正确识别图片数除以总测试图片数。
示例:
- 测试图片数量:100 张
- 预测完全正确的图片数量:85 张
- Accuracy = (85 / 100) × 100% = 85%
这个指标适合用于需要高精度的应用,例如表单处理或身份识别,因为任何错误的字符都可能影响结果的可用性。
评估数据集
在这个项目中,模型的评估面临极大的挑战。
首先,这个题目没有标准的数据集可供参考,因为涉及到个人隐私数据,没有谁可以堂而皇之地提供一个公开的数据集。因此,我们只能自行搜集数据并逐一标注,但自行搜集的数据集缺乏公信力,无法作为权威标准:
若每个人都自行收集数据,然后声称模型准确度达到 100%,你敢信?
另外,在这个领域中有名的数据集不外乎就是 MIDV(Mobile Identity Document Video dataset)了,这是一个包含各种护照、居留证等机读证件的数据集,但它还是有其局限性:
- 数据量不足:MIDV 数据集规模有限,且大多是基于合成样本,无法代表真实世界的应用场景。
- 不是针对 MRZ 识别:MIDV 包含了多种证件,主要目的用于证件定位,其中没有提供 MRZ 的文本定位与识别标注。
虽然在 MIDV-2020 版本中已经可以找到 MRZ 的文本标注,但仍缺乏定位区域信息,无法作为完整的评估数据集。
目前,我们手上有一个小规模的私有测试集,主要来自认识的朋友,包含约 300 张护照与居留证。这个测试集用于内部测试,以帮助我们即时评估模型的表现。但如前所述,由于数据涉及个人隐私,无法公开完整的测试数据。
如果你有兴趣,可以自行收集数据,并使用我们的模型进行测试。