TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
- 发表版本
- 正式发表信息尚未核实
- arXiv 首次提交
- arXiv:2102.04306
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{featurefusiontransunet2021,
title = {{TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation}},
author = {Jieneng Chen and Yongyi Lu and Qihang Yu and Xiangde Luo and Ehsan Adeli and Yan Wang and Le Lu and Alan L. Yuille and Yuyin Zhou},
year = {2021},
eprint = {2102.04306},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2102.04306}
}
ViT 是在 2020 年底提出来的,随后相关应用就快速地扩展到大大小小的领域上。
这次来看一篇结合 U-Net 和 ViT 的论文。文章本身不困难,只要你略懂 U-Net 和 ViT 的概念,就能够轻松上手。
定义问题
在 CNN 中引入注意力机制不是什么新鲜事,只是放到医学图像分割领域,目前还很少见。
没人做?那就是最大的问题!
作者希望能像 ViT 一样,以「序列到序列」的思维,把图像切成许多 patches 后直接喂给 Transformer,并借此学到图像的全局特征。
然而,要是我们仅仅用简单的上采样,把 Transformer 产生的低层特征拉回到原始大小(套用 Upsample 之类的),最后只会得到粗糙的分割结果。毕竟 Transformer 虽能擅长处理全局信息,但对于局部边界和细节并没有做特别的强化。
在 ViT 之中,patch size 通常定在 16×16,对于图像分类已经够用。但分割任务可是需要精确到每个像素的位置,也就是说我们必须缩小 patch size 到 8×8,甚至 4×4 才行。可是越小的 patch size,计算量就越高,导致 Transformer 的计算量爆表,根本无法训练。
所以,我们得先处理「多尺度降采样」以及「分辨率」的议题。
解决问题
显然地,直接套用 ViT 到图像分割任务上不可行,因此作者提出了混合式的架构,如下图:
首先使用 CNN 进行特征提取,就像一般我们常见的 Backbone 这样,可以得到 1/2、1/4、1/8 和 1/16 分辨率的特征图。
考量到 Transformer 计算复杂度,这里只将 1/16 分辨率的特征图,搭配 的 patch size,把特征图转换成序列,最后通过 Transformer 进行全局特征提取。
当 Transformer 完成自注意力运算后,就能拿到较为「全局」的特征表达,再把序列转回 1/16 分辨率的特征图,最后通过 CNN 的逐级上采样(就像 U-Net 的解码器)来融合其他分辨率的特征图。这样,我们既保留了全局信息的优势,又能通过跳跃连接 (skip connections) 来补足局部细节,最后得到较精细的分割结果。
讨论
- 上表中的 CUP 指的是 Cascaded Upsampler,用来对比直接上采样的效果。
在 Synapse 多器官分割数据集 上,作者与四种先前的 SOTA 方法进行比较,包含 V-Net、DARR、U-Net 和 AttnUNet。
此外,为了验证 CUP与 混合编码器 的性能,实验也对比了以下变体:
- ViT-None:ViT 作为编码器,使用简单的上采样进行解码
- ViT-CUP:ViT 作为编码器,搭配 CUP 解码器
- R50-ViT-CUP:ResNet-50 + ViT 作为编码器,搭配 CUP 解码器
- TransUNet:R50-ViT-CUP + U-Net 风格的跳跃连接(Skip Connections)
为了公平比较,U-Net 和 AttnUNet 的编码器也替换为 ImageNet 预训练的 ResNet-50,以确保与 ViT-Hybrid 版本一致。
- 直接上采样 vs. CUP:参考上表中的 ViT-None vs. ViT-CUP,可以看到 Dice Similarity Coefficient(DSC)提升了 6.36 个百分点,Hausdorff 距离降低了 3.50 mm。这显示 CUP 解码器在此实验中比简单上采样更能恢复边界细节。
- ViT vs. R50-ViT:参考上表中的 ViT-CUP vs. R50-ViT-CUP,DSC 再提升 3.43 个百分点,Hausdorff 距离进一步降低 3.24 mm。结论是纯 ViT 虽能捕捉高层语义,但难以保留医学图像的边界与细节,而混合 CNN + ViT 编码器能有效补足低层特征的缺失。
最后是 TransUNet 对比于其他方法,可以看到 DSC 提升范围在 1.91 ~ 8.67 个百分点之间,相较于最佳 CNN 方法 R50-AttnUNet,TransUNet 仍能额外提升 1.91 个百分点;相比 R50-ViT-CUP,TransUNet 更是提升 6.19 个百分点。
作者分析这是由于单纯的 CNN 虽然能够捕捉丰富的局部细节,但缺乏全局视野;而纯 ViT 虽然能够捕捉全局语意,但难以保留医学图像的边界与细节。而 TransUNet 通过跳跃连接结合全局与局部信息,在此 Synapse 实验中超越表列的其他方法。
结论
TransUNet 通过 Transformer 强大的全局自注意力机制,结合 CNN 的低层细节表征,成功突破传统 FCN 架构的限制,在医学图像分割上展现卓越表现。
通过 U 型混合架构,TransUNet 优于现有 CNN 为主的自注意力方法,为医学图像分割提供了一种全新的解决方案,证明了 Transformer 在此领域的潜力与实用性。