介绍

这个任务其实算是 OCR 任务的「前导」。

到了近几年,各种通用型的 OCR 模型已经相当成熟,甚至不需要任何前处理,就能在无受限的场景中找到所有文本并提供其识别结果。

但,就是有点昂贵。

这个昂贵所指的目标,可以从各方面来切入:

推论成本

在实际场景中,文档识别的任务在 OCR 领域中占比很大,因为人们在生活中总是离不开文档。在这些活动中,通常你不会站在「主动」的角度,而是「被动」的接受扫描:

  1. 银行开户是不是需要看证件?
  2. 出国是不是需要看护照?
  3. 申请签证是不是需要看证明文档?
  4. 买保险是不是需要看合约?

占比很大却不代表这是一件赚钱的生意,因为提供相关功能的厂商非常多,物美价廉的产品比比皆是。

也就是说,如果你用一个通用的 OCR 模型(通常是 LLM)来处理这个问题,光是推论成本就可以让你亏到翻过去...

再翻过来。

文本通常很密集

在文档中,文本通常是密集的,这意味着如果你不想错过任何信息,你必须使用极高的分辨率来扫描文档。

举例来说,一般我们做对象侦测的起手式是使用 640×640640 \times 640 的分辨率,但在文档定位的场景中,这个分辨率可能会被放大到 896×896896 \times 896 或 1536×15361536 \times 1536 甚至更高。

如果我们不把模型功能进行拆分,直接在高分辨率的环境下强推 LLM,先不提推论成本,你知道现在买一张 V100 训练用的 GPU 要三万到五万美金吗?LLM 真的贵到不行啊!

中文本数量庞大

中文本的分类,涵盖简繁两种格式,字符数量高达十万种。相比于拉丁语系的文本,分类数量多了三个数量级。

模型必须从复杂的背景中找到文本,接着又得从文本的细节(可能就只有几个 pixel)中找到关键特征,所需的参数量和计算量都会大幅增加。

我们当然向往端到端的解决方案,最好什么都不用做,用一个模型就能解决所有问题。这样的模型在现在有,以后也只会更多。

但推论昂贵,收益又低,不管怎么看,在现阶段都是个亏本的生意。

功能拆分

所以我们需要更经济实惠的方式,模型拆分在这里就成为必然的选择。

这也是我们做这个项目的目的:

  • 在嘈杂纷乱的场景中,精确地找到我们感兴趣的文档区域,并将其摊平,以便后续的文本识别或其他处理。

有了文档定位,再接着使用文本定位,再来是文本识别,最后是文意分析理解。

这样的流程或许繁琐,但是在成本和效益之间,这是一个相对平衡的选择。

模型功能

此模型专门设计来识别图像中的文档,精确地找到文档的四个角点,让用户可以将其摊平,以便进行后续的文本识别或其他处理。

这里提供两种不同的模型:「热图模型」和「点回归模型」,各具特点和适用场景,这些将在后续章节中详细介绍。

在技术层面,我们选择了 PyTorch 作为训练框架,并在推论时将模型转换为 ONNX 格式,以便在不同平台上部署。此外,我们使用 ONNXRuntime 进行模型推论,这使得我们的模型能在 CPU 和 GPU 上高效运行。

我们的模型在性能上达到接近最先进水平,在移动设备上的推论速度约可达到 10~20 FPS,其能够满足大多数应用场景的需求。

定义

我们遵循该领域的先行者的定义,将文档的座标点的:

  • 起点定为左上角
  • 终点定为左下角

并使用四个座标点来表示文档的位置,依序为:『左上 > 右上 > 右下 > 左下』。

游乐场

我们有把这个模型放在这个网页上,你可以到游乐场中试试看。

最后

我们其实一开始想做的是一个 Zero-shot 的模型,并且能够愉快地在移动设备上运行。也就是说可以泛化到全世界各式各样的文档上,不需要任何标注和微调,就可以直接使用。

但后来发现模型规模的限制,使得这个目标变得有点遥远。

这其实很难抉择:如果加大模型规模,就违背了我们的初衷;不加大模型,那只能改架构,但改架构又会影响到模型的泛化能力。

最后,我们忙了好几个月,还是向 Zero-shot 做出妥协,毕竟「准确」才是第一优先的目标。

如果你对这个题目感兴趣,欢迎自行测试,我们期待你提供反馈给我们。

也欢迎你留下建议,我们很乐意与你交流。