論文ノートライブラリに戻る
arXiv 2024CVPR 2024顔のなりすまし検知論文ノート

MMDG

信頼管理学

原論文

Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing

論文の著者

Xun Lin · Shuai Wang · Rizhao Cai …

著者全 8 名を表示

Xun Lin · Shuai Wang · Rizhao Cai · Yizhong Liu · Ying Fu · Wenzhong Tang · Zitong Yu · Alex Kot

発表先
CVPR 2024国際会議
arXiv への初回投稿
arXiv:2402.19298
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingmmdg2024,
  title = {{Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing}},
  author = {Xun Lin and Shuai Wang and Rizhao Cai and Yizhong Liu and Ying Fu and Wenzhong Tang and Zitong Yu and Alex Kot},
  year = {2024},
  eprint = {2402.19298},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2402.19298}
}
このページの内容

この論文が発表されたころ、コンピュータビジョンの分野はすでにマルチモーダル構成の時代でした。

それでも FAS の問題は残り、ドメインをまたぐ汎化は難題のままです。

問題の定義

RGB モデルは動作が速く、データセットも比較的作りやすい。深度画像には立体的な構造が映り、赤外線は可視光とは異なる情報を捉えます。「この顔は本物か」を判断するうえで、どちらも助けになります。

では、なぜマルチモーダルはあまり使われないのでしょうか。使ってもかえって汎化が悪くなり、実用化の機会を見つけにくいのはなぜでしょうか。

著者は二つの問題を挙げます。

  • Modality Unreliability(モダリティの信頼性不足)

    センサーや照明が変われば、ドメインも大きく変わります。とくに赤外線と深度では、本来は補助になる情報が、モデルを誤った方向へ導くことがあります。

    クロスモーダル融合で情報を全部混ぜても、結果は一様に良くならず、互いに足を引っ張る場合があります。

  • Modality Imbalance(モダリティ間の不均衡)

    学習中のモデルは「早く学べるモダリティ」に頼りがちで、多くの場合は RGB がその役を担います。

    ほかのモダリティは入力されていても十分に学習されません。対象ドメインで RGB が通用しなくなったとき、遅れている分岐も助けになれないのです。

つまりマルチモーダル FAS の難しさは、情報源の数だけではありません。これらのモダリティは平等でも、いつも信頼できるわけでもないのです。

そこで著者は、次の二つを同時に扱おうとします。

信頼できない情報源に対処しながら、一つの情報源だけをひいきしないモデルを育てる。

これが論文の問題設定です。

問題の解決

著者が提案する MMDG(Multi-Modal Domain Generalized)は、二つの仕組みを軸にしています。

  • Suppress(抑制):クロスモーダル融合時に、信頼しにくい情報の影響を小さくする。
  • Rebalance(再均衡):学習中にモダリティ間の勾配を調整し、それぞれが学べるようにする。

図のように、RGB、深度、赤外線にはそれぞれ ViT backbone があり、各分岐の U-Adapter がクロスモーダル融合を担います。

学習時には ViT backbone を凍結し、U-Adapter と分類器を学習します。ReGrad は U-Adapter に作用するクロスモーダルな勾配を調整し、速いモダリティだけが学習を支配する問題を和らげます。

U-Adapter

U-Adapter は、この手法の中心にある部品です。ViT block の MLP 出力経路につながり、ViT の重みを凍結したまま、Adapter と最後の分類器を学習します。役目は二つです。

  1. 不確実性推定モジュール(UEM)で、各モダリティの信頼しにくい token を見つける。
  2. クロスモーダル融合では、そうした token の影響を抑え、ほかのモダリティへ誤った情報が広がらないようにする。

不確実性推定モジュール

上図の (b) では、著者は信頼しにくい領域を見つけるために Uncertainty Estimation Module(UEM) を使います。

このモジュールは Multi-Head Self-Attention の後で Monte Carlo Dropout(MCD)を繰り返し、各 token の特徴の分散から不確実性を推定します。

T={xRu1,xRu2,…,xRut}T=\{x_R^{u1},x_R^{u2},\ldots,x_R^{ut}\} を MCD のサンプルとすると、推定値は次のとおりです。

xRU=Var(T)∈RB×L×1x^U_R = \text{Var}(T) \in \mathbb{R}^{B \times L \times 1}

クロスモーダル融合

上図の (c) で、U-Adapter は単に情報を混ぜるのではなく、選んで融合します。

ほかのモダリティから来る疑わしい token の影響を抑えることで、誤った手掛かりが広がるのを防ごうとします。

深度分岐への融合を例にすると、次のようになります。

  • Query は別のモダリティ、たとえば RGB の xR3x_R^3 から作る。
  • Key と Value は深度分岐自身の xD3x_D^3 から作る。
  • RGB の不確実性 xRUx_R^U に応じて融合の重みを調整する。

式で表すと、次のとおりです。

A(xRU,xR3,xD3)=CDC(Softmax(Q(xR3)K(xD3)⊤⊙U(xRU)nk)V(xD3))A(x^U_R, x^3_R, x^3_D) = \text{CDC} \left( \text{Softmax} \left( \frac{Q(x^3_R)K(x^3_D)^\top \odot U(x^U_R)}{\sqrt{n_k}} \right) V(x^3_D) \right)

ここで、

  • Q(⋅)Q(\cdot)、K(⋅)K(\cdot)、V(⋅)V(\cdot) は query、key、value を作る線形射影。
  • U(xRU)=exp⁡(−re⋅xRU⋅11×L)U(x_R^U)=\exp(-r_e\cdot x_R^U\cdot\mathbf{1}_{1\times L}) は不確実性による抑制重み。11×L\mathbf{1}_{1\times L} は次元を広げる全 1 の行ベクトルで、query token が不確実なほど影響を小さくする。
  • ⊙\odot は要素ごとの積。
  • CDC(⋅)\text{CDC}(\cdot) は Central Difference Convolution。token 間の局所的な差を捉え、ViT の近傍への感度を補う。

各モダリティの最終出力 xmoutx_m^{\text{out}} には、二つまたは一つのクロスモーダル融合と、ViT block 自身の残差が含まれます。

xRout=A(xDU,xD3,xR3)+A(xIU,xI3,xR3)+xR3+xR4xDout=A(xRU,xR3,xD3)+xD3+xD4xIout=A(xRU,xR3,xI3)+xI3+xI4\begin{aligned} x^{\text{out}}_R &= A(x^U_D, x^3_D, x^3_R) + A(x^U_I, x^3_I, x^3_R) + x^3_R + x^4_R \\ x^{\text{out}}_D &= A(x^U_R, x^3_R, x^3_D) + x^3_D + x^4_D \\ x^{\text{out}}_I &= A(x^U_R, x^3_R, x^3_I) + x^3_I + x^4_I \end{aligned}

xm3x_m^3 は ViT block 内の LayerNorm 出力、xm4x_m^4 は MLP 出力、xmUx_m^U はモダリティ mm の推定不確実性です。

ReGrad

ReGrad の狙いを簡単に言えば、遅いモダリティがもっと学び、速いモダリティは少し抑えることです。

ただし実際には、モダリティごとの勾配が衝突することもあります。

そこで著者は、次のように考えます。

各モダリティの収束速度と勾配の衝突を見て、残す成分と抑える成分を決め、不確実性でクロスモーダルな影響を制限する。

図 4 の (b1)、(b2)、(c1)、(c2) に対応する四つの条件は、次の式になります。

ReGrad2(gi,gj)={gi+gi⋅gj∥gi∥2gi⋅U(uj),(b1) non-conflict, j is fastergi+(gj−gi⋅gj∥gi∥2gi)⋅U(uj),(b2) conflict, j is fastergi⋅gj∥gj∥2gj⋅U(ui)+gj,(c1) non-conflict, i is faster(gi−gi⋅gj∥gj∥2gj)⋅U(ui)+gj,(c2) conflict, i is faster\text{ReGrad}_2(\mathbf{g}_i, \mathbf{g}_j) = \begin{cases} \mathbf{g}_i + \dfrac{\mathbf{g}_i \cdot \mathbf{g}_j}{\|\mathbf{g}_i\|^2} \mathbf{g}_i \cdot U(u_j), & \text{(b1) non-conflict, } j \text{ is faster} \\ \mathbf{g}_i + \left( \mathbf{g}_j - \dfrac{\mathbf{g}_i \cdot \mathbf{g}_j}{\|\mathbf{g}_i\|^2} \mathbf{g}_i \right) \cdot U(u_j), & \text{(b2) conflict, } j \text{ is faster} \\ \dfrac{\mathbf{g}_i \cdot \mathbf{g}_j}{\|\mathbf{g}_j\|^2} \mathbf{g}_j \cdot U(u_i) + \mathbf{g}_j, & \text{(c1) non-conflict, } i \text{ is faster} \\ \left( \mathbf{g}_i - \dfrac{\mathbf{g}_i \cdot \mathbf{g}_j}{\|\mathbf{g}_j\|^2} \mathbf{g}_j \right) \cdot U(u_i) + \mathbf{g}_j, & \text{(c2) conflict, } i \text{ is faster} \end{cases}

ここで、

  • gi\mathbf{g}_i と gj\mathbf{g}_j はモダリティ ii、jj の逆伝播勾配。
  • uiu_i と uju_j は各モダリティの最後の ViT block にある class token の不確実性をバッチ平均したもの。
  • U(u)=exp⁡(−r⋅u)U(u)=\exp(-r\cdot u) は不確実性による抑制関数で、不安定なモダリティの勾配の影響を小さくする。

式の見た目は手強いですが、やっていることは整理できます。

  • ii が遅く、勾配が衝突しないときは、jj のうち ii と同じ方向の成分を残して助けに使い、直交する成分を捨てます。衝突するときは、jj のうち ii と逆向きの成分を除きます。
  • ii のほうが速ければ、速い側と遅い側を入れ替えて扱います。
  • U(u)U(u) は、対応するモダリティの不確実性に応じて、残した成分の影響を抑えます。ReGrad が調整するのは交差エントロピー損失の勾配で、SSP 損失の勾配は対象外です。

SSP Loss

勾配の調整に加え、MMDG は各モダリティの特徴をまとめるため、Single-Side Prototypical Loss(SSP) を使います。

まず、すべてのソースドメインの live サンプルを一つの組にまとめます。一方、spoof サンプルはソースドメインごとに別の組に分けます。モダリティ mm の組 dd に対するプロトタイプは、次の平均ベクトルです。

pdm=1Nd∑cm∈dcm\mathbf{p}_d^m = \frac{1}{N_d} \sum_{\mathbf{c}_m \in d} \mathbf{c}_m

続いて SSP Loss を定義します。

Lsspm(cm,pdgtm)=−log⁡exp⁡(−ED(cm,pdgtm))∑d∈Dexp⁡(−ED(cm,pdm))L_{\text{ssp}}^m(\mathbf{c}_m, \mathbf{p}_{\text{dgt}}^m) = - \log \frac{ \exp\left( -\text{ED}(\mathbf{c}_m, \mathbf{p}_{\text{dgt}}^m) \right) }{ \sum_{d \in D} \exp\left( -\text{ED}(\mathbf{c}_m, \mathbf{p}_d^m) \right) }

この損失は、サンプルを所属する live/spoof の組のプロトタイプへ近づけ、ほかの組から離します。各モダリティの SSP 損失で収束速度を判断し、損失が小さいほうを速い側とみなします。

全体の損失は次のとおりです。

Lfinal=Lce+∑m∈{R,D,I}λ⋅LsspmL_{\text{final}} = L_{\text{ce}} + \sum_{m \in \{R, D, I\}} \lambda \cdot L_{\text{ssp}}^m

LceL_{\text{ce}} は分類の交差エントロピー損失、λ\lambda は SSP の影響を調整する係数です。

実験結果と考察

他の手法との比較

表の列は未知の対象データセット、行は比較手法です。対象には次のものがあります。

  • 従来の Domain Generalization 手法(SSDG、SSAN、IADG など)。
  • マルチモーダル手法(CMFL、MM-CDCN)。
  • 入力モダリティが欠ける場合に対応する Flexible-modal 手法(ViT+AMA、VP-FAS)。

四つのデータセットのうち三つで学習し、残り一つでテストする操作を、対象を変えながら繰り返します。

表 1 の四つのクロスデータセット評価では、MMDG の HTER と AUC はどちらも表中最良です。Flexible-modal 手法の VP-FAS と比べると、四条件の平均 HTER は 19.25% 対 25.45%、平均 AUC は 87.96% 対 81.08%。差はそれぞれ 6.20 ポイントと 6.88 ポイントです。

ここから受け取れるメッセージは明確です。

モダリティは増やすだけでは足りません。何を信じ、何の影響を下げるか判断する融合戦略が、未知のドメインでは重要になります。

アブレーション実験

著者は各部品の寄与を確かめるため、いくつかの設定を比較します。

論文が試した DG 手法やマルチモーダル手法では、ViT + U-Adapter に切り替えると、図 5 の平均結果が改善します。

  • SSDG、SSAN、IADG などは ViT + U-Adapter を組み合わせた比較で改善しました。
  • ViT + U-Adapter と交差エントロピーだけなら、表 4 の平均 HTER は 27.38%、AUC は 78.88%。同表の Adapter なしの ViT より良いものの、ReGrad も加えた 19.48%/87.48% には及びません。

ReGrad を加えると、表 4 の平均 HTER と AUC はさらに改善します。ここから言えることは二つです。

  1. U-Adapter は図 5 に載る手法では役立ちました。。
  2. 融合時に不確実性を使い、一部の情報の重みを下げます。 効果の範囲は、この研究の評価条件に限られます。

ReGrad を衝突時だけ、あるいは非衝突時だけ動かす変種も、完全版と比較されています。

  • 衝突時のみは平均 HTER/AUC が 21.91%/85.65%、非衝突時のみは 21.23%/85.51%。どちらも ReGrad なしの 27.38%/78.88% より良いものの、全条件で動かす 19.48%/87.48% には届きません。
  • この表は、衝突と非衝突を両方扱う設計を支持します。

不確実性の働き

著者は U-Adapter と ReGrad それぞれから不確実性の重みを外し、推定の仕組みが本当に役立つか調べました。

  • U-Adapter の不確実性による制御を外すと、分類結果は悪化します。
  • ReGrad から不確実性の重みを外しても、結果は悪化します。
  • 両方で使う場合の平均 HTER 19.48%、AUC 87.48% が表中最良です。U-Adapter だけで使う場合より HTER が 3.27 ポイント下がり、AUC が 2.64 ポイント上がります。

このアブレーションが示すのは、評価条件における分類結果の改善です。モダリティ間で誤った情報が完全に遮断されたかを直接測ったものではありません。

次の図では、深度と赤外線の例に、不確実性の高い領域があります。注意マップがそうした場所を見ていても、U-Adapter は融合時にその重みを小さくしようとします。

結論

マルチモーダルの未来は、「全部載せ」の強化版モデルだと考えたくなるかもしれません。

RGB が足りない? IR を足す。IR も足りない? Depth を足す。最後に CLIP 風の融合まで載せる。モダリティが増えるほど安全になるかのようです。

でもこの論文が問いかけるのは、ドメインが変わったとき、モデルが「何を信じ、何を疑うべきか」を判断できるかどうかです。

MMDG の価値は、この不確実性をモデルの内部へ取り込み、勾配と融合の仕組みを通じて、「誰を信じ、誰の影響を抑えるか」を判断し、動作へつなげたところにあります。