返回论文笔记资料库
IEEE TIFS 2022人脸防伪论文笔记

Echo-FAS

伪造的回音

原始论文

Beyond the Pixel World: A Novel Acoustic-Based Face Anti-Spoofing System for Smartphones

论文作者

Chenqi Kong · Kexin Zheng · Shiqi Wang · Anderson Rocha · Haoliang Li

引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@article{faceantispoofingechofas2022,
  title = {{Beyond the Pixel World: A Novel Acoustic-Based Face Anti-Spoofing System for Smartphones}},
  author = {Chenqi Kong and Kexin Zheng and Shiqi Wang and Anderson Rocha and Haoliang Li},
  year = {2022},
  journal = {IEEE Transactions on Information Forensics and Security},
  url = {https://doi.org/10.1109/tifs.2022.3202115},
  doi = {10.1109/tifs.2022.3202115}
}
本页内容

声波技术在 Face Anti-Spoofing(FAS)领域的应用不算很多篇。

大概也就是一年可以找到一两篇有引用次数比较多的相关工作。

定义问题

FAS 的技术演进史,像是一场不断向深处凿掘的识别工程。

我们读过 LBP 的叠影、HOG 的梯度、CNN 特征图上的高频闪烁,也尝试从 rPPG 的心跳信号中找寻生命的韵律。每一次伪造手段的提升,都逼迫我们重新定义「活体」的证据。

但有件事始终没变:

  • 无论我们如何强化特征、补充模态、混合损失函数,这些方法仍过度依赖「看」。

看得多、看得细、看得准。

而现实呢?

镜头可能沾有指纹,光源可能逆差过曝,用户的脸也不总是对准算法所渴望的角度。

此外,几乎所有基于 RGB 的识别系统都绕不开几个经典难题:

  • 新手机与旧模型之间的 domain gap;
  • 室内光源与户外阳光间的光谱落差;
  • 数据分布与推理条件之间的落地断裂。

为了解决这些问题,有人转向硬件强化,像是红外线、深度模块,甚至毫米波雷达。

但这些方案贵啊!

造价高昂、部署复杂,终究只将识别门槛从算法转嫁至成本与规范,并没有真正回应通用性的需求。

因此,作者提出了一个不同的看法:

如果看不准,那不妨,听一听?

喇叭与麦克风,在智慧型手机中无所不在,不需要额外安装,也不需技术普及。

而声音,不只是讯息的载体,它同时也可以成为探测器。我们可以从一段折返的声波路径中,识别出脸部几何的信息:

  • 一张纸,它的回音是干涩而轻薄的;
  • 一段屏幕重播,它的反射是扭曲与不稳的;

唯有真实的肉身,才能留下密度对应的声波纹理。

只是,这真的有用吗?

解决问题

在进入系统设计之前,作者先打造了一个全新的声波数据库:Echo-Spoof。

它跟传统的 FAS 数据库完全不同,那些过去数据库除了图像之外还是图像。而 Echo-Spoof 则收集来自「声波」的反射信号。

如果我们预期只需要智慧型手机原生的喇叭与麦克风就能进行防伪,那么我们肯定要确保这套声波检测机制,在真实世界里依旧有效。

作者为此定下了三大核心需求:

  1. 基于声波(Acoustic-based):

    过去的 FAS 数据库多收集脸部照片或影片,但 Echo-Spoof 收集声波反射信号。从脸部的弧度、轮廓和材质里提取几何信息,不用 RGB 图像,较能保护用户的图像隐私。

  2. 大规模(Large-scale):

    这个数据库来自 30 位志愿者(男女各半),总共搜集超过 25 万笔声波信号片段。只有够大的规模,才能涵盖多种真实场景里不可控的变量。

  3. 高多样性(High-diversity):

    真实世界里,变化来自四面八方:不同手机、不同距离、不同噪声程度、不同仰角等。

    作者将这些条件明确规范化,模拟用户实际使用手机时常见的情境,像是「人跟手机之间相距 25 到 45 厘米」、「环境音量在 40 dB、60 dB、70 dB 之间波动」、或是「脸部俯仰在 -10°、0°、+10°」等。

    这些细节都写进了数据库的收集手册,确保 Echo-Spoof 不只是个理想化的小数据集。

数据搜集过程如下图:

作者通过智慧型手机的耳机扬声器发出设计好的声波,并用顶部麦克风录下反射信号;上图以真脸与面具示意两种不同的反射情形。

如此获得的大量声波样本,在正式搜集前已取得伦理审查核准。

变因考量

  • Device: 作者挑选了四款 Android 智慧型手机(Samsung s9, Samsung s21, Samsung edge note, Xiaomi Redmi7)进行数据搜集,因为不同手机在扬声器与麦克风的制程上都有微妙差异,容易带来额外的噪声分布,能更好地检验模型的跨设备稳定度。

  • Distance: 用户日常使用手机时,脸通常距离屏幕约 25 ~ 45 厘米。于是作者分别在 25 cm、35 cm、45 cm 收集声波,观察距离对信号噪声比(SNR)的影响。

  • Ambient Noise: 现实生活里,安静的办公室与喧嚣的咖啡厅是两个世界。作者把环境噪声控管在 40 dB(安静)、60 dB(稍微吵杂)、70 dB(相当吵)这三个档位,并用噪声检测 App 监控是否达标。

  • Pitch: 即使是手持角度,也可能影响脸部与手机之间的相对位置:-10°、0°、+10° 这几个俯仰角度都列入考量。因为颜面检测在现实里不可能永远保持垂直,少量角度变化反而更贴近用户习惯。

经过这样的精细设计,Echo-Spoof 在「规模」与「多样化」层面都有相当水准。这让日后在测试阶段,能更有效衡量声波检测在不同情境下的稳定度与抗干扰能力。

信号设计

为了使 Echo-FAS 能在日常场景下顺利运行,作者提出以下关键考量:

  1. 提升识别品质: 通过线性调变频率(FMCW, Frequency-Modulated Continuous Wave)来捕捉脸部各区域的多重回音,借此提取脸部几何信息。

  2. 降低环境干扰: 善用较高的频率范围(12–21 kHz),与常见噪声频率(小于 8 kHz)区隔,并加入 pilot tone 做同步,排除设备间的时序差。

  3. 用户感受: 尽量避免刺耳的声响,同时维持足够能量做检测。作者用 Hamming window 函数来抑制不必要的频谱成分,再经由适度控制音量,将「被人耳听到」的机率降至最低。

最终的设计如下图所示:

整段信号全长约 0.8 秒,采样率 44.1 kHz(大多数 Android 设备支援的典型值)。

作者先加入一段 11.025 kHz、250 个采样点的 pilot,与第一组 chirp 间隔 8000 个采样点,再接上九组 chirp(线性扫频)。扫频部分涵盖 12–21 kHz,分为三段范围(12–17 kHz、14–19 kHz、16–21 kHz),并各自重复三次。

每个 chirp 的实际样本数为 60,两个 chirp 之间间隔 3000 个样本,借此避免时域重叠。

信号分析

Echo-FAS 采用了 FMCW(Frequency-Modulated Continuous Wave) 技术,这是一种常见于雷达的扫频方法,原本用来进行精准的距离量测。在这里,它被转化为识别脸部几何的声学扫描器。

原理并不难理解:人脸的不同部位(如鼻梁、嘴唇、额头)与手机扬声器之间的距离各异,因此声波在遇到这些结构后,会以不同的时间延迟与相位变化反射回来。这些微妙的差异,若能在特定带宽内被精确地解析,就能形成一组足以识别的脸部轮廓特征。

为了说明这项能力的理论基础,作者引用了 FMCW 架构下的解析度计算公式:

Rd=v⋅δT2=v⋅δf2k=v2⋅BW=343m/s2×5000Hz=3.43cmR_d = \frac{v \cdot \delta T}{2} = \frac{v \cdot \delta f}{2k} = \frac{v}{2 \cdot BW} = \frac{343 \text{m/s}}{2 \times 5000 \text{Hz}} = 3.43 \text{cm}

其中,vv 是音速(约 343 m/s),BWBW 为扫频信号的带宽,kk 则代表频率变化的斜率。

这是作者以单段 5 kHz 扫频估算的回音距离解析度,约为 3.43 厘米;它说明带宽如何影响回音分离。

基于这样的识别需求,作者选定了 12 到 21 kHz 的频率范围。

这段频率带具有多重优势:它高于大多数环境噪声的主频(通常落在 8 kHz 以下),同时又接近成人可听频率的上限(约 15 ~ 17 kHz),能有效降低用户感知度。

不过,过高的频率也会遇上手机硬件输出不足的限制;作者的初步实验指出,频率范围超过 20 kHz 时效果较差。因此,这个区间是在「可听性、抗噪声性、硬件能力」三者之间取得的平衡点。

为了确保信号在录音中能被精准识别,整段声波的开头加入了一段 11.025 kHz 的 pilot tone,这是一种持续稳定的纯音波,在频谱上与其他 chirp 信号和环境噪声有清楚区隔。

通过与录音内容的交叉相关运算,系统便能定位信号起始点,估计喇叭与麦克风之间的时序延迟,供后续回音撷取使用。

而在扫频信号的设计上,作者将每个 chirp 的长度设定为 60 个采样点(约 1.4 毫秒),并在其间加入 3000 个采样点的间隔。

这个配置同时考虑了物理和工程上的限制:

若 chirp 太长,虽能提高讯杂比,但也可能与脸部回音产生时间重叠;以距离 30 厘米为例,声波来回需时约 1.7 毫秒,换算为采样点数则为 77,若 chirp 长度超过此值,回音与直传信号将难以区分。

反过来说,若两个 chirp 的间隔太短,前一个 chirp 从远端物体(如墙壁)反射的回音就可能落入下一个 chirp 的脸部回音范围,形成混叠与干扰。

因此,作者采用 3000 点(约 68 毫秒)的间隔来降低回音重叠的风险;加上 pilot 与其间隔后,全段信号约在 0.8 秒内结束。

当然,即便频率设计上已尽可能避开人耳可感知区间,但部分信号仍落在 17 kHz 以下,对特定用户可能产生听觉干扰。

为此,作者在信号设计上额外引入 Hamming window,让 chirp 的起始与结束具备柔顺的包络形状,进一步降低声音尖锐度。此外,他们也针对各型号手机进行音量优化测试,确保输出音量在「不失真但足够响亮」之间取得平衡。

根据调查,超过 90% 的参与者表示「几乎未感受到噪声」,为这项设计在实际应用应用中的可行性提供了良好佐证。

信号处理

如果说设计一段声音是一种语言,那信号处理就是学会辨认其中的语意。

在 Echo-FAS 中,录制下来的声音不只是一段回音,而是一种混合物:它同时包含来自喇叭的直传信号、来自脸部的主体回音,以及环境中其他物体的背景反射。

信号处理的目的,是从这团声波里把真正代表人脸几何轮廓抽取出来,成为后续识别模型的输入。

整个处理流程分成三个阶段:

  • 信号切分(segmentation)
  • 直传信号消除(direct transmission removal)
  • 目标回音提取(target reflection extraction)

如下图所示:

首先是信号切分。

录音起始点并不稳定,喇叭与麦克风在手机上无法完全同步,因此作者设计了一段 11.025 kHz 的 pilot tone 作为同步标记。通过与录音内容进行 cross-correlation,系统能精准找出信号真正的起点。

确定起点并滤除 12 kHz 以下的环境噪声后,整段录音会被切分为九段,对应于前述所设计的九组 chirp。每一段中都混合了直传信号与各式回音,这是粗略定位的第一步。

接着是直传信号的消除。

这段信号是由喇叭发出、未经反射、直接被麦克风收到的部分,因为传递距离最短、能量衰减极少,往往主导整段录音中的最高峰。为了将其剔除,作者使用与原始 chirp 的匹配滤波,辨认出此段信号的起始位置,并将这段前后的样本直接舍去,只保留其后可能包含脸部或背景回音的部分。

最后,进入关键的脸部回音提取阶段。

在移除直传信号后,剩下的信号仍可能包含来自墙壁、桌面等远距物体的回音,但它们出现得较晚,且相对分散。而脸部回音通常距离最短,会在各段信号中「最早、也最集中」地出现,如下图所示:

因此作者提出了一套适应式定位算法:对每段录音进行 matched filter 运算,找出能量最高的波峰,再将九段的峰值位置进行平均,找出在时间上「最一致、最有可能」代表脸部回音的位置。算法会迭代寻找标准差最小的平均点,确保定位稳定,并将每段在该点后截取 60 个样本,作为最终输出的脸部声学特征。

这样一来,每次检测都会从原始录音中提取出九段、各为 60 点的声波区块,作为后续模型判断真伪的依据。过程中不需额外硬件、不需多通道设计,只靠一颗麦克风与一段规划良好的声音,就能完成一次声音结构的捕捉。

模型架构

在解决声音的问题后,接下来就是我们熟悉的模型架构了。

下图是这整段识别流程,共分为三个阶段:

  • 前处理(Preprocessing)
  • 双分支特征提取(Two-Branch Feature Extraction)
  • 交叉融合决策(Cross-Attention Fusion)

对我们的读者来说,这一段应该相对简单,我们依序来看一下。

前处理

输入的是一段来自麦克风录制的原始声音信号。

通过刚才介绍的信号处理步骤,系统会先进行同步、直传信号移除,并从整段录音中撷取出九段回音片段。

双分支架构

这九段回波,会分别送入两条平行而互补的神经网络分支中,进行两种频率特征的解读:

  • Global Frequency Branch(右侧,Transformer 分支):

    对每段信号进行 Fast Fourier Transform(FFT),转为频域表示,作为九个 token 输入 Transformer 结构。

    这个分支专注于捕捉信号在整体频率上的分布关系与长距离依赖特征。Transformer 能从这些频谱中学习出与脸部结构相关的「频率习惯」,建构出一组全域视角的特征图。

  • Local Frequency Branch(左侧,CNN 分支):

    另一边则将每段信号经过 Short-Time Fourier Transform(STFT),转换为时间–频率图(spectrogram)。

    这些图像保留了声波在时间中变频的过程,也就是扫描脸部时所捕捉到的动态特征。这些图像随后被送入 CNN 网络,擅长撷取局部区域中的模式与细节变化,学习从声波反射图中提取「几何细节纹理」。


这两条路径,分别拥有不同的建模优势:Transformer 聚焦整体频谱结构,CNN 聚焦局部响应纹理。在 Echo-FAS 中,它们被设计为互补,不是对立。

两条分支各自输出一组特征表示:全域特征 f1f_1,局部特征 f2f_2。

为了让这两个视角真正对齐,Echo-FAS 设计了双向交叉注意力模块(Dual Cross-Attention Module)。如上图 (d) 所示,Cross-Attention 模块让 f1f_1 去关注 f2f_2,也让 f2f_2 去关注 f1f_1,两者彼此互视、互融,最终将两组特征拼接后交由分类层进行最终判断。

深度选择

为了确认这套架构设计的合理性,作者进行了一系列消融实验。

如上图所示,Transformer block 数(左图)增加至 10 个时 EER 最低;CNN 层数(右图)则在 5 层时最低。最终,作者选择以 10 个 Transformer block 与 5 层 CNN 作为双分支的 backbone。

讨论

跨身份识别能力

在真实场景中,FAS 系统无法预先认识所有用户。它必须在面对「未曾看过的脸」时,也能做出正确判断。因此,第一组实验聚焦于最核心的泛化挑战:跨身份活体检测。

在上表中,作者将 Echo-FAS 训练于 25 位用户,并测试于另外 5 位从未出现在训练数据中的受试者。

结果显示,Echo-FAS 在这样的设定下仍达成 98.79% AUC 与 95.18% ACC,表现稳定且出色。不只如此,表中同时列出其他分类模型的结果,包括 MLP、CNN 与 Transformer 等常见架构;Echo-FAS 在表列的 AUC、ACC、HTER、ACER、EER 指标均为最佳。

这显示声波信号在这组跨身份测试中具有可区辨性,也支持 Echo-FAS 双分支融合架构的设计。

简单来说,在这组测试中,Echo-FAS 面对未出现在训练集的受试者,依然能通过声波判断活体与伪造。

这是对声学活体识别能力的一次展示;跨设备与跨攻击仍需要各自的实验来检验。

用户习惯下的稳定性

不是所有人都会把手机拿得端端正正。

有人低头滑手机,有人侧脸解锁,有人习惯将手机稍微仰角操作。这些日常习惯,在过去的 FAS 系统中,往往被视为「非理想姿态」,但在真实世界里,它们却是预设的常态。

为了验证 Echo-FAS 在这些操作落差中的稳定性,作者设计了一项「用户仰角容忍度测试」:

  • 将脸部与手机之间的角度(pitch)分为 -10°、0°、+10° 三种设定,对应不同的手持姿态,并针对每种角度进行模型测试。

结果显示,在这三种测试角度下,Echo-FAS 的 AUC 为 97.97%~98.40%,HTER 为 5.71%~8.25%,两项指标均优于表中 baseline。这支持它对所测俯仰角度变化有一定稳定性。

对用户来说,这代表在作者测试的 ±10° 范围内,不必每次都将手机保持在正对脸部的角度。

Echo-FAS 所强调的「声波几何」,不只是技术架构的语言;这组实验也检验了有限度的手持角度变化。更大幅度的姿势变异,则不在这张表的测试范围内。

多模态融合

在许多真实应用场景中,我们往往无法预期用户会用哪一支手机、在哪种光源下完成身分识别。这也让以 RGB 为主的 FAS 模型在部署时容易因设备异质性产生 domain gap,导致效能显著下滑。

Echo-FAS 的声学模态提供了不同于图像外观的脸部反射信息,可补充视觉特征;但声学信号仍会受到手机扬声器与麦克风差异影响。

为了验证声音与图像的互补性,作者设计了一套多模态融合实验,如下图:

作者另向 10 位志愿者同步收集声波与脸部图像;每笔多模态样本由一段声波与一张对应的脸部图像构成。

声音信号交由 Echo-FAS backbone 提取特征 fAf_A,图像则交由经 ImageNet 预训练的 ResNet18 提取视觉特征 fVf_V,两者经过融合模块后共同做出判断。

实验共使用四台手机(Samsung S9、S21、Edge Note 以及 Redmi7)进行数据收集,每次训练使用三台设备,将剩下一台作为测试场域,以模拟实际部署时遇到的跨设备泛化挑战。

实验结果如下表:

在表中的四种跨设备测试中,融合模型的 AUC 都高于仅使用 RGB 的模型,HTER 也都较低;平均 AUC 从 93.48% 提升至 99.08%,平均 HTER 从 18.26% 降至 4.34%。不过,单独使用声学模态的平均 AUC 为 83.89%,在 Note 设备上只有 68.11%,可见它本身也有跨设备落差。

在这组跨设备实验中,声学特征与图像特征融合后改善了测试结果。

结论

Echo-FAS 提供了一种极具实用性的 FAS 解法。

它不需要额外传感器,在所测手机和条件下取得较好的识别结果;正式部署的可靠性仍需验证。在作者测试的手持角度与光照条件下,用户不必刻意调整姿态。

不过,实际运行仍依赖兼容的扬声器、麦克风和频率响应。

然而,这样的系统还是有其限制。

首先,论文主要研究二维攻击,真正三维面具的复杂材质与深度层次尚未得到验证。其次,它仍难以完全摆脱硬件间的频率响应差异,设备之间的声学指纹仍会在模型泛化上留下微妙的痕迹。即便已做过滤与适应性设计,声音仍会受限于它所依附的机器。

因此,Echo-FAS 的定位不是取代现有方法的革新,而是提供一种低依赖、高补偿、轻量化的识别模态。在环境不可控、图像不可信的情境中,它给出了另一种可能:

伪造的线索不是只有来自图像,也可以是一段回音。