快速开始
我们提供了一个简单的模型推论接口,其中包含了前后处理的逻辑。
首先,你需要导入所需的相关依赖并创建 DocAligner 类别。
模型推论
以下是一个简单的示例:
import cv2
from skimage import io
from docaligner import DocAligner
# build model
model = DocAligner()
# read image
img = io.imread('https://github.com/DocsaidLab/DocAligner/blob/main/docs/run_test_card.jpg?raw=true')
img = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)
# inference
polygon = model(img)
# 輸出為文件的四個角點坐標
# print(polygon)
# [[ 48.151894 223.47687 ]
# [387.1344 198.09961 ]
# [423.0362 345.51334 ]
# [ 40.148613 361.38782 ]]
输出结果
绘制多边形
绘制并保存带有文档多边形的图像。
import cv2
import numpy as np
def draw_polygon_image(
img: np.ndarray,
polygon: np.ndarray,
thickness: int = 3
) -> np.ndarray:
colors = [(0, 255, 255), (255, 255, 0), (0, 255, 0), (0, 0, 255)]
export_img = img.copy()
_polys = polygon.astype(int)
_polys_roll = np.roll(_polys, 1, axis=0)
for p1, p2, color in zip(_polys, _polys_roll, colors):
export_img = cv2.circle(
export_img, p2, radius=thickness*2,
color=color, thickness=-1, lineType=cv2.LINE_AA
)
export_img = cv2.arrowedLine(
export_img, p2, p1, color=color,
thickness=thickness, line_type=cv2.LINE_AA
)
return export_img
# draw
export_img = draw_polygon_image(img, polygon)
提取摊平后的图像
如果你知道文档的原始大小,那可以调用 Capybara.imwarp_quadrangle 方法,将文档多边形的图像转换为矩形图像。
from capybara import imwarp_quadrangle
H, W = 480, 800
flat_img = imwarp_quadrangle(img, polygon, dst_size=(W, H))
运行结果如下图:
如果是一个未知的图像类别,也可以不用给定 dst_size 参数,此时将会根据文档多边形的边界自动计算出『最小的矩形』图像,并将最小矩形的宽高设为 W 和 H。
flat_img = imwarp_quadrangle(img, polygon)
为何模型侦测不到文档?
这是个难以立即回答的问题,我们必须逐一拆解。
以下我们用 MIDV-2020 的一张图像作为示例说明,读者可以自行下载这张图像进行测试:
图像中的文档尺寸
第一个要考虑的是图像中的文档的大小,文档过大或过小都可能导致模型无法侦测。
我们查看过训练数据,文档的尺度大约落在 1/2 ~ 1/8 之间,请参考下图标意:
意思就是说,如果你的文档尺寸在图片中,小于上图 1/8 尺度的「单一网格」的大小,那么该文档大概会被模型忽略,模型可能会认为那是背景。
我们认为检测文档是为了后续的下游任务,因此检测出太小的文档在实际应用场景中可能没有意义,所以在设计训练数据时,我们保留了这个特性。
文档角点缺失
文档尺寸过大通常不会影响模型,但这种情况中,文档角点可能会切齐图像边缘,或超出图像。
由于该模型的主要功能其实是角点侦测,因此当文档的角点缺失时,模型会产出不稳定的估计结果,若是角点缺失的位置在文档的边缘,则模型会倾向判定为无效文档,不会输出 Polygon 结果,如下图:
图像中的文档模糊
另外一个造成侦测失败的原因是文档模糊,模糊的文档可能会让模型无法找到文档的边界,进而导致侦测失败,如下图:
模型不认识的文档
我们训练的模型规模有限,大约就 5MB 至 20 MB 的区间,虽然模型已经具有一定的泛化能力,但对于一些没有在训练数据集内的特殊的文档可能无法侦测。
例如:我们假设下图中的蓝色计算机是一种「特殊的文档」:
这张图送给模型,就会得到一个空的 Polygon,因为模型不认识「计算机」这种文档,这个解决方式只有对这个「特殊的文档」进行训练手动标注,然后加入训练数据微调模型。
模型可视化
我们没有封装这个功能,因为其实只是一个中间过程,后面还有经过其他图像后处理步骤。
但如果你真的想看,那我们来写一段展示用的代码。假设你使用的是热图模型,可以通过以下方式来可视化模型的输出:
import cv2
import numpy as np
from capybara import imresize, imread
from docaligner import DocAligner
from docaligner.heatmap_reg.infer import preprocess
model = DocAligner()
img = imread('midv2020_example.jpg')
img_infos = preprocess(
img=img,
img_size_infer=(256, 256)
)
heatmap = model.detector.model(**img_infos['input'])['heatmap'][0].sum(0)
heatmap = np.uint8(heatmap * 255)
heatmap = imresize(heatmap, size=img.shape[:2])
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
output = cv2.addWeighted(img, 0.5, heatmap, 0.5, 0)
D.imwrite(output)
通过上面的代码,你可以看到模型的输出,这是一个热图,颜色越深代表该区域越可能是文档的角点。在侦测失败的情况下,你有一定的机会可以在这张图中找到可能的问题。
联系我们
如果上面都不是你要的答案,或许你可以把认为有问题的图像通过电子邮件寄给我们,我们有时间会帮你检查看看。
请通过电子邮件与我们联系:[email protected]