MLP-Mixer: An all-MLP Architecture for Vision
- 发表版本
- NeurIPS 2021会议
- arXiv 首次提交
- arXiv:2105.01601
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{visiontransformersmlpmixer2021,
title = {{MLP-Mixer: An all-MLP Architecture for Vision}},
author = {Ilya Tolstikhin and Neil Houlsby and Alexander Kolesnikov and Lucas Beyer and Xiaohua Zhai and Thomas Unterthiner and Jessica Yung and Andreas Steiner and Daniel Keysers and Jakob Uszkoreit and Mario Lucic and Alexey Dosovitskiy},
year = {2021},
eprint = {2105.01601},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2105.01601}
}
在 Transformer 被引入计算机视觉的领域之后,许多研究开始探索如何让每个 Patch 间的信息交换更有效率。
为此,一个新的名词应运而生:「Token-Mixer」。
顾名思义,Token-Mixer 的目的是将不同的 Patch 之间的信息进行混合,以提升模型的性能。
传统的自注意力机制,就是其中一种 Token-Mixer 的实现方式。
然而,在原始的注意力机制中,由于计算复杂度极高,因此学术界开始寻找替代方案。
MLP-Mixer 便是其中之一。
定义问题
作者认为:自注意力的复杂度太高了,不如我们把它整个敲掉吧!
至于敲掉之后要怎么办呢?
嘿!你看,路边不是有个简单的全连接层吗?拿来用啊!
然后这篇论文就讲完了。(并没有!)
解决问题
模型架构
作者在本篇论文中提出使用两个阶段的全连接层,也就是 MLP(多层感知器),来进行信息交换。
上面这张图可能不好懂,没关系,让我们按步骤来:
-
输入一张 3 x 224 x 224 的图像,将其切割成 16 x 16 的 patch,维度我们假设用 512。
- 尺寸变化:[B x 3 x 224 x 224] -> [B x 512 x 14 x 14]。
-
将特征图整理成 token 序列;形状虽与 ViT 的输入相似,这里不会送进 Transformer。
- 尺寸变化:[B x 512 x 14 x 14] -> [B x 512 x 196]。
-
第一阶段:交换 Patch 之间的信息。
import torch.nn as nn token_mixer = nn.Sequential( nn.Linear(196, 256), nn.GELU(), nn.Linear(256, 196) ) token_norm = nn.LayerNorm(512) # 输入维度:x = [B x 512 x 196] x_norm = token_norm(x.permute(0, 2, 1)).permute(0, 2, 1) x_mix_patch = token_mixer(x_norm) # skip connection x = x + x_mix_patch -
第二阶段:交换 Channel 之间的信息。
import torch.nn as nn channel_mixer = nn.Sequential( nn.Linear(512, 2048), nn.GELU(), nn.Linear(2048, 512) ) channel_norm = nn.LayerNorm(512) # 输入维度:x = [B x 512 x 196] # 先 Reshape -> [B x 196 x 512] x_mix_channel = channel_norm(x.permute(0, 2, 1)) x_mix_channel = channel_mixer(x_mix_channel) # Reshape 回来 x_mix_channel = x_mix_channel.permute(0, 2, 1) # skip connection x = x + x_mix_channel
到这边就完成了一次 MLP-Mixer 的运算。
你会发现在上面的流程中,第二阶段与 ViT 注意力区块后的前馈 MLP 类似,都是在每个 token 内混合通道;但它本身不是自注意力。
不一样的地方在第一阶段:不计算 Patch 之间的自注意力图,而是对每个通道使用同一组两层 MLP 权重,直接混合 196 个 Patch。论文的 Mixer layer 在两阶段前各有 LayerNorm,也不另加入位置嵌入;最后再以全局平均池化做分类。
讨论
ImageNet 上的性能
-
「ImNet」和「ReaL」列:分别代表原始 ImageNet 验证集和清理后的 ReaL 标签集的结果。
-
Avg 5:表示五个下游任务(ImageNet、CIFAR-10、CIFAR-100、Pets、Flowers)的平均性能。
在 ImageNet-21k 上预训练并进行额外正则化,再以 448 分辨率微调时,Mixer-L/16 在 ImageNet 上达到 84.15% 的 top-1 准确率,表现强劲但略逊于表中几个比较模型。没有正则化时,Mixer 容易过拟合,这与 ViT 的观察结果一致。
当在 ImageNet 上从随机初始化训练 MLP-Mixer 时,Mixer-B/16 在分辨率 224 下取得 76.4% 的分数,与普通 ResNet50 类似,但低于其他最先进的 CNN/混合模型,例如 84.7% 的 BotNet 和 86.5% 的 NFNet。
当上游数据集大小增加时,MLP-Mixer 的性能显著提高;上方图右侧是固定预训练表示后做线性 5-shot 分类的准确率,并非完整微调结果。
在 JFT-300M 预训练的表 2 中,Mixer-H/14 在 ImageNet 上实现了 87.94% 的 top-1 准确率,比 BiT-ResNet152x4 的 87.54% 高 0.40 个百分点,比 ViT-H/14 的 88.55% 低 0.61 个百分点。表中的 TPUv3 推理吞吐量分别为 40、26、15 张/秒/核心;Mixer 约为 ViT 的 2.7 倍、BiT 的 1.5 倍。
在精度计算权衡方面,Mixer 与更传统的神经网络架构具有竞争力。跨架构类别的总预训练成本与下游准确性之间存在明显的相关性。
可视化分析
人们普遍观察到,CNN 的第一层倾向于学习类似 Gabor 的检测器,作用于图像局部区域的像素。
相较之下,MLP-Mixer 的 token-mixing MLP 允许全局交换信息,这就引出了一个问题:
- 它是否以类似的方式处理信息?
为了回答这个问题,作者将前三个 token-mixing MLP 中隐藏单元的权重排成 14 x 14 网格,观察它们对各个 Patch 的加权方式;这些图不是图像输入时的特征图。
在上图中,从左到右分别是第一、第二和第三个 token-mixing MLP 的权重,我们可以看到:
- 一些学习到的特征对整个图像起作用,而另一些则对较小的区域起作用。
- 更深的层似乎没有清晰可辨的结构。
- 与 CNN 类似,其中有许多对具有相反相位的特征检测器。
结论
少亏就是赚!
比起原本的自注意力机制,在论文比较的配置下,MLP-Mixer 可以减少不少计算量;就算效果稍差,也是很有市场!