快速开始

我们提供了一个简单的模型推论接口,其中包含了前后处理的逻辑。

首先,你需要导入所需的相关依赖并创建 DocAligner 类别。

模型推论

以下是一个简单的示例:

python
import cv2
from skimage import io
from docaligner import DocAligner

# build model
model = DocAligner()

# read image
img = io.imread('https://github.com/DocsaidLab/DocAligner/blob/main/docs/run_test_card.jpg?raw=true')
img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)

# inference
polygon = model(img)

# 輸出為文件的四個角點坐標
# print(polygon)
#    [[ 48.151894 223.47687 ]
#    [387.1344   198.09961 ]
#    [423.0362   345.51334 ]
#    [ 40.148613 361.38782 ]]

输出结果

绘制多边形

绘制并保存带有文档多边形的图像。

python
import cv2
import numpy as np

def draw_polygon_image(
    img: np.ndarray,
    polygon: np.ndarray,
    thickness: int = 3
) -> np.ndarray:

    colors = [(0, 255, 255), (255, 255, 0), (0, 255, 0), (0, 0, 255)]
    export_img = img.copy()
    _polys = polygon.astype(int)
    _polys_roll = np.roll(_polys, 1, axis=0)
    for p1, p2, color in zip(_polys, _polys_roll, colors):
        export_img = cv2.circle(
            export_img, p2, radius=thickness*2,
            color=color, thickness=-1, lineType=cv2.LINE_AA
        )
        export_img = cv2.arrowedLine(
            export_img, p2, p1, color=color,
            thickness=thickness, line_type=cv2.LINE_AA
        )
    return export_img

# draw
export_img = draw_polygon_image(img, polygon)

提取摊平后的图像

如果你知道文档的原始大小,那可以调用 Capybara.imwarp_quadrangle 方法,将文档多边形的图像转换为矩形图像。

python
from capybara import imwarp_quadrangle

H, W = 480, 800
flat_img = imwarp_quadrangle(img, polygon, dst_size=(W, H))

运行结果如下图:

如果是一个未知的图像类别,也可以不用给定 dst_size 参数,此时将会根据文档多边形的边界自动计算出『最小的矩形』图像,并将最小矩形的宽高设为 W 和 H。

python
flat_img = imwarp_quadrangle(img, polygon)

为何模型侦测不到文档?

这是个难以立即回答的问题,我们必须逐一拆解。

以下我们用 MIDV-2020 的一张图像作为示例说明,读者可以自行下载这张图像进行测试:

图像中的文档尺寸

第一个要考虑的是图像中的文档的大小,文档过大或过小都可能导致模型无法侦测。

我们查看过训练数据,文档的尺度大约落在 1/2 ~ 1/8 之间,请参考下图标意:

意思就是说,如果你的文档尺寸在图片中,小于上图 1/8 尺度的「单一网格」的大小,那么该文档大概会被模型忽略,模型可能会认为那是背景。

我们认为检测文档是为了后续的下游任务,因此检测出太小的文档在实际应用场景中可能没有意义,所以在设计训练数据时,我们保留了这个特性。

文档角点缺失

文档尺寸过大通常不会影响模型,但这种情况中,文档角点可能会切齐图像边缘,或超出图像。

由于该模型的主要功能其实是角点侦测,因此当文档的角点缺失时,模型会产出不稳定的估计结果,若是角点缺失的位置在文档的边缘,则模型会倾向判定为无效文档,不会输出 Polygon 结果,如下图:

图像中的文档模糊

另外一个造成侦测失败的原因是文档模糊,模糊的文档可能会让模型无法找到文档的边界,进而导致侦测失败,如下图:

模型不认识的文档

我们训练的模型规模有限,大约就 5MB 至 20 MB 的区间,虽然模型已经具有一定的泛化能力,但对于一些没有在训练数据集内的特殊的文档可能无法侦测。

例如:我们假设下图中的蓝色计算机是一种「特殊的文档」:

这张图送给模型,就会得到一个空的 Polygon,因为模型不认识「计算机」这种文档,这个解决方式只有对这个「特殊的文档」进行训练手动标注,然后加入训练数据微调模型。

模型可视化

我们没有封装这个功能,因为其实只是一个中间过程,后面还有经过其他图像后处理步骤。

但如果你真的想看,那我们来写一段展示用的代码。假设你使用的是热图模型,可以通过以下方式来可视化模型的输出:

python
import cv2
import numpy as np
from capybara import imresize, imread
from docaligner import DocAligner
from docaligner.heatmap_reg.infer import preprocess

model = DocAligner()

img = imread('midv2020_example.jpg')

img_infos = preprocess(
    img=img,
    img_size_infer=(256, 256)
)

heatmap = model.detector.model(**img_infos['input'])['heatmap'][0].sum(0)
heatmap = np.uint8(heatmap * 255)
heatmap = imresize(heatmap, size=img.shape[:2])
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
output = cv2.addWeighted(img, 0.5, heatmap, 0.5, 0)
D.imwrite(output)

通过上面的代码,你可以看到模型的输出,这是一个热图,颜色越深代表该区域越可能是文档的角点。在侦测失败的情况下,你有一定的机会可以在这张图中找到可能的问题。

联系我们

如果上面都不是你要的答案,或许你可以把认为有问题的图像通过电子邮件寄给我们,我们有时间会帮你检查看看。

请通过电子邮件与我们联系:[email protected]