返回论文笔记资料库
arXiv 2023IJCV 2024人脸防伪论文笔记

M²A²E

举一反三

原始论文

Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing

论文作者

Zitong Yu · Rizhao Cai · Yawen Cui · Xin Liu · Yongjian Hu · Alex Kot

arXiv 首次提交
arXiv:2302.05744
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{faceantispoofingm2a2e2023,
  title = {{Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing}},
  author = {Zitong Yu and Rizhao Cai and Yawen Cui and Xin Liu and Yongjian Hu and Alex Kot},
  year = {2023},
  eprint = {2302.05744},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.05744}
}
本页内容

我们一路看论文,大概也知道人脸识别就是个常常被攻破的系统。

虽然准确率高、用起来方便,但人脸识别的核心问题始终没变:你永远不知道画面里那张脸,是人,还是张照片。

定义问题

过去十年,从 LBP 到 CNN,从单模态 RGB 到多模态融合(像是 RGB、IR、Depth),我们已经构建出一整套检测假脸的系统。然而,不管是手工特征还是深度学习模型,它们在面对「新型攻击」或「未见场景」时,仍然会栽在泛化能力这一关。

为了处理这个问题,多模态成为解方之一。

毕竟在高风险场景(像是人脸支付或保险库门禁)中,单靠一个 RGB 画面说话太单薄了。IR、深度信息、甚至热成像,都能补上不同维度的活体线索。

但问题又来了。

随着 Vision Transformer(ViT)横空出世,大家都想把它用在 FAS 上,原因很简单:

  • ViT 的长距离建模能力、跨模态扩展性,看起来刚好补上 CNN 的盲点。

于是有人直接拿来微调,有人额外加模块强化跨模态能力,看起来效果不错。

只是,我们真的理解它的本质吗?

  • ViT 是否真的适合这样的多模态任务?
  • 为什么原本在 ImageNet 上表现惊人的预训练,到了这里就有点水土不服?
  • 如果我们不用 ImageNet,而是自己训练个 ViT,该怎么做才不会 overfit?
  • 那些模态间的细节差异,ViT 有抓到吗?

作者的问题不只是一个模型训练策略的优化,而是回到原点问了一个更基本的问题:

我们真的知道怎么用 ViT 解决 FAS 吗?

解决问题

在搞懂问题本质之后,作者针对 ViT 在多模态 FAS 的三个关键面向提出了对应的设计:输入数据的形式、微调策略,以及预训练方法。

我们就依序来看看。

输入数据

ViT 虽然擅长全局建模,但缺乏局部细节的敏感度。

在 FAS 任务中,那些能让人识别真假脸的关键,常常藏在微妙的边缘纹理或高频细节里。这时候,CNN 那种擅长抓「小地方」的特性就显得特别重要。

于是作者回头翻出了三种经典的局部特征描述符来补足 ViT 的盲点:

  • LBP (Local Binary Pattern)

    用像素间的强度差计算出二值编码,对光照变化不敏感,擅长抓纹理细节。

    其公式如下:

    LBP=∑i=1pF(Ii−Ic)⋅2i−1,F(I)={1I≥00otherwise\text{LBP} = \sum_{i=1}^{p} F(I_i - I_c) \cdot 2^{i-1}, \quad F(I) = \begin{cases} 1 & I \ge 0 \\ 0 & \text{otherwise} \end{cases}
  • HOG (Histogram of Oriented Gradients)

    抓的是边缘方向分布,通过区块化的梯度统计向量来表达图像结构,对几何和光照变化有一定容错能力。

  • PLGF (Pattern of Local Gravitational Force)

    这个比较冷门,灵感来自万有引力定律,通过局部引力分布来强化边缘与轮廓信息,特别适合对抗噪声与光照变化。公式如下:

    PLGF=arctan⁡((I∗MxI)2+(I∗MyI)2)\text{PLGF} = \arctan\left( \sqrt{ \left(\frac{I * M_x}{I} \right)^2 + \left(\frac{I * M_y}{I} \right)^2 } \right)

    其中 MxM_x、MyM_y 是根据位置设计的方向遮罩,∗* 表示卷积,用来计算局部引力的分布。

具体样式如下图所示:

我们可以看到这三种特征的可视化效果:从 LBP 的点阵纹理、HOG 的方向分布、到 PLGF 的轮廓重构,每一种都提供了不同的视角去补强原始模态数据。

作者还试着把这些特征做组合(例如:GRAY + HOG + PLGF),并当作 ViT 的三通道输入。这种手工与深度特征混搭的设计,在多模态 FAS 中显得特别有效。

模型架构

我们来细看这篇论文的核心模型架构。

主干是一个 预训练的 ViT,整体结构被有意设计为 高冻结、低微调:

  • 只有最后的分类头 EheadE_{\text{head}} 和额外插入的模块 AMA(Adaptive Multimodal Adapter) 参与训练,其余的 ViT 结构完全保留原貌。

AMA 的角色就是个 Adapter,让原本只会处理单一模态的 ViT,变得可以理解多模态输入(如 RGB、IR、Depth)。

它的结构设计可以分为四个阶段,如上图中的 AMA 模块内部:

  1. 通道压缩 Θ↓\Theta↓

    每个模态的输入 token,会先经过一层 1×1 卷积,将原始通道维度 DD 压缩为隐藏维度 D0D_0。这个动作的目的是将信息浓缩,为后续模态间的融合准备统一格式。

  2. 局部模态融合 Θ2D\Theta_{2D}

    接着,将三个模态压缩后的特征图恢复空间结构,沿通道拼接成四维张量(batch, channel, height, width),通过一个 3×3 的 2D 卷积将 D0×KD_0 \times K 个通道融合为 D0D_0 个通道。这步骤利用模态间的空间对齐特性,在保持原位关系的前提下进行特征交互。

  3. 动态模态权重 ΘAda+σ\Theta_{\text{Ada}} + \sigma

    为了让不同模态的贡献可以随场景自动调整,AMA 对拼接后的特征使用 global average pooling(GAP),再通过 1×1 卷积和 Sigmoid 函数输出模态权重 (wRGB,wIR,wDepth)(w_{RGB}, w_{IR}, w_{Depth})。这些权重会对应地调节融合后的特征。

  4. 通道回复 Θ↑\Theta↑

    最后,通过另一个 1×1 卷积把通道维度从 D0D_0 扩回 DD,并与经处理的 class token 组合,作为 Transformer 区块中的 adapter 输出;最后才由分类头判断真伪。

这样的设计有几个优点:

  • 参数效率高:只微调少量参数,降低 overfitting 风险
  • 模态融合精细:不像传统直接 concat,多了一层动态加权与卷积融合
  • 支持弹性模态组合:AMA 可依输入模态数调整,例如只用 RGB+IR

换句话说,AMA 是一个低侵入性、高扩展性的模态融合模块,专为 ViT 的结构特色量身打造。它让 frozen ViT 在不重训底层的情况下,也能吃进高维度、多模态的 spoof 线索。

预训练方法

最后,作者针对 ViT 的预训练流程也提出一个新的框架:Modality-Asymmetric Masked AutoEncoder,也就是本文的标题 M²A²E。

传统的 MAE 会将整张图切成 patch,随机遮一部分,然后让模型学着重建。但在多模态情境中,这样的设计会有几个问题:

  • 遮的是全部模态的 patch,模型容易对某一模态过度依赖
  • 模型的目标只是还原图像,并不一定有助于活体判断这种「跨模态语义」的任务

于是 M²A²E 在 ImageNet 预训练权重的基础上,以 CeFA 的多模态图像做自监督预训练,并改变 masking 与重建的逻辑:

  • 每次只随机选一个模态做输入
  • 对该模态的 token 做遮蔽
  • 同时要求模型重建:
    • 该模态被遮住的 patch(这是传统 MAE 的部分)
    • 其他模态的完整图像(这是关键创新)

这个设计要求模型学会「用一个模态去预测其他模态的样貌」,也就是所谓的 cross-modality reconstruction。作者希望借此:

  • 对模态间的语义关联建模能力更强
  • 能捕捉到如「色彩失真」、「深度缺失」这类 spoof 线索

讨论

实验结果

在 WMCA 的实验中,作者设计了两个情境:

  • 一是模型已经看过攻击类型(seen protocol)
  • 另一是完全没见过的新型攻击(unseen protocol)。

上表正是测试这两种情境下,AMA 与 M²A²E 所带来的效果,可以从三个面向来解读这张表:

  1. AMA 的角色是「增强器」

    相较于 baseline 的 ViT,加上 AMA(单模态时使用 ConvAdapter)后,表中多数模态设定的 ACER 下降;但 Depth 的 unseen 平均 ACER 从 10.42% 略升至 10.49%。局部与模态交互有帮助,仍须看具体模态与协议。

  2. M²A²E 的角色是「泛化器」

    在 unseen 攻击的测试情境中,接续 M²A²E 自监督预训练后,IR、Depth、RGB+IR、IR+Depth、RGB+IR+Depth 的平均 ACER 较对应的 ImageNet 初始化版本低;RGB 与 RGB+Depth 则没有改善。这些结果支持它在部分模态组合上的迁移效果。

  3. RGB+IR+Depth 是全模态最强组合

    最后一组的三模态组合,AMA+M²A²E 在 unseen 攻击的平均 ACER 为 3.86%,低于使用四模态的 MC-CNN 的 6.55%;但 seen 协议下 MC-CNN 为 1.04%,低于 AMA+M²A²E 的 1.39%。这个比较只支持该表中的特定协议结果。

Local Descriptors 是否有用?

这里作者针对 IR 模态,测试了多组输入特征,包括:

  • 单一描述符:LBP, HOG, PLGF
  • 组合输入:HOG+PLGF, LBP+HOG+PLGF, GRAY+HOG+PLGF

结果有几个重点:

  • LBP 在 RGB、IR 上较弱:两种微调方式下,它的 ACER 都高于原始输入;Depth 图中最差的是 HOG,不能说 LBP 在所有模态都最弱。
  • PLGF 在 IR 的直接微调有效:单用 PLGF 的 ACER 低于原始输入;搭配 ConvAdapter 时,则没有优于原始输入。
  • 组合最强,特别是 GRAY+HOG+PLGF:这组输入在 IR 模态下表现最佳,不管是直接微调还是配上 ConvAdapter,都明显胜出。

实验结果表示 IR 模态可从这些局部描述符受益,尤其是 GRAY+HOG+PLGF;RGB 与 Depth 并没有呈现相同的整体趋势。

AMA 是不是只是参数多?

作者测试了五种 adapter 结构,看看哪一种设计最适合 ViT-FAS:

  1. vanilla adapter:全连接层(FC)为主
  2. ConvAdapter(单模态):用 2D 卷积取代 FC
  3. Multimodal ConvAdapter(压缩版):融合不同模态的特征,再做 2D 卷积
  4. Multimodal ConvAdapter(全维度):输出维度保留所有模态乘积(D₀ × K)
  5. Adaptive Multimodal Adapter(AMA)

重点观察如下:

  • 从 FC 换成 Conv,表中四组 ACER 都下降,支持局部特征对这些 ViT 设定有帮助。
  • 简化的 Multimodal ConvAdapter 优于 单模态版,代表模态融合在 ViT 里是可行的。
  • 全维度版本反而表现较差;作者认为 D0×KD_0 \times K 通道的融合容易 overfit。
  • AMA 是这些方法中最平衡的,既保留模态差异,又能有效加权不同特征来源。

因此,在这四组模态的比较里,卷积融合比 FC adapter 有效,但不能盲目堆叠维度。AMA 的加权融合方式,是这五种设计中 ACER 最低的。

结论

我们经常在论文中看到 Transformer 被应用到新的任务上,但这篇文章的可贵之处在于,它并没有急着往上叠架构,而是回头问了一个更基本的问题:

「如果 ViT 是要用来做 Multimodal FAS,它该具备哪些特质?」

作者将这个问题拆成三个面向来看:输入的细节设计、预训练的逻辑、以及微调的方式。这种做法对于数据量有限、攻击样态多变的 FAS 任务来说,显得特别有价值。