論文ノートライブラリに戻る
arXiv 2023IEEE TIFS 2024顔のなりすまし検知論文ノート

S-Adapter

実際のノート

原論文

S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens

論文の著者

Rizhao Cai · Zitong Yu · Chenqi Kong …

著者全 7 名を表示

Rizhao Cai · Zitong Yu · Chenqi Kong · Haoliang Li · Changsheng Chen · Yongjian Hu · Alex Kot

arXiv への初回投稿
arXiv:2309.04038
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofingsadapter2023,
  title = {{S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens}},
  author = {Rizhao Cai and Zitong Yu and Chenqi Kong and Haoliang Li and Changsheng Chen and Yongjian Hu and Alex Kot},
  year = {2023},
  eprint = {2309.04038},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2309.04038}
}
このページの内容

Adapter は軽量なモデル調整方法で、通常は事前学習された Transformer モデルにいくつかの追加パラメータを加え、それらを特定のタスクに対して微調整します。これにより、モデル全体を再訓練することなく、タスクに特化した調整を行えます。

もし Transformer が近年の視覚的な主役ならば、Adapter はそのタスク間での役割を調整する器具と言えるでしょう。

問題の定義

これまで見てきたように、FAS(Face Anti-Spoofing)のモデルがいかに難しいかはお分かりいただけたと思います。

単に「この顔が本物か偽物か」を判定するだけでなく、それを安定して判定しなければなりません。少なくとも、照明を変えたりカメラを変えたり、攻撃手法を変えたりした場合でも、モデルがすぐに崩れないことが求められます。

狭いソース分布で学習すると、新しい照明・機器・攻撃で判定が崩れる場合があります。

そのため、さまざまな解決策が提案されています:敵対的学習を用いてスタイル変換を行ったり、メタ学習を用いて未知のシナリオをシミュレートしたり、真顔をより近づけ、偽顔を遠ざけたりする方法です。しかし、これらの方法の汎化能力は、特にzero-shot(ゼロショット)テストにおいて、少し足りない部分があり、問題は非常に顕著です。

その後、ViT(Vision Transformer)が登場し、みんなが期待していました。

なぜなら、Transformer のアテンションメカニズムは長距離情報を処理でき、構造も柔軟で、環境変動が強いタスクにはぴったりだと思われたからです。

しかし、問題はまた発生しました。

確かに、ImageNet の ViT の事前学習モデルを微調整すれば、CNN より少しは良い結果が得られるのですが、それでも「ほんの少し」の差に過ぎません。しかも、少数のサンプル(few-shot)やゼロショット(zero-shot)の条件では、ViT の汎化性能がいくつかの CNN ベースのベースラインよりも劣ることがあります。

その背後には、もっと根本的な問題があるかもしれません:

  • Transformer は遠くを見られるけれど、細かい部分を見られるのでしょうか?
  • それは、肉眼では判別しにくい小さなテクスチャー、局所的な欠陥、または攻撃媒体が残した破綻を識別できるのでしょうか?

あるいは、私たちがそれらの「スタイル以外のもの」を理解できると早すぎる前提を置いてしまっているのでしょうか?

解決策

ViT を FAS で使用する場合、最初のステップは通常、ImageNet で事前学習されたモデルを微調整することです。

完全な微調整の負荷はモデルや設定次第であり、高性能 GPU 八枚が必須ではありません。本文の実験は 2080 Ti 一枚を使用しています。Adapter は事前学習済み骨格を凍結し、小さなタスク用モジュールを更新して学習パラメータ数を減らします。

この方法は Efficient Parameter Transfer Learning(EPTL)と呼ばれ、例えば Adapter、LoRA、Prompt-tuning などがこれに該当します。

ViT では、各ブロックを以下のように簡略化して記述できます(LayerNorm とショートカットは省略):

Y=WiMLP(WiMSA(X))Y = W_i^{\text{MLP}}(W_i^{\text{MSA}}(X))

ここで、XXとYYは Transformer ブロックの入力トークンと出力トークンを表し、MSA は多頭自己注意層、MLP は多層パーセプトロンを示しています。Adapter を使用すると、各ブロックに小さなモジュールを加え、構造は次のようになります:

Y=AiMLP(WiMLP(AiMSA(WiMSA(X))))Y = A_i^{\text{MLP}}(W_i^{\text{MLP}}(A_i^{\text{MSA}}(W_i^{\text{MSA}}(X))))

ここで、AiMSAA_i^{\text{MSA}}とAiMLPA_i^{\text{MLP}}は挿入された Adapter です。元々の ViT の重みWWはすべて凍結され、Adapter のパラメータだけが訓練されることで、「リソースを節約し、少しだけ変更する」目標が達成されます。

しかし、この Adapter のアーキテクチャは、自然言語処理タスクではうまく機能しますが、FAS には力不足です。

その理由は簡単に理解できます。通常の Adapter は線形層を使用しており、空間構造の帰納的バイアスが欠けています;

FAS は局所的な質感や画像の痕跡を使います。大域的注意でも局所情報を学べますが、通常の線形 Adapter には畳み込みの明示的な二次元近傍バイアスがなく、著者はこれを加えます。

モデルアーキテクチャ

局所的な質感と統計を ViT の適応に直接取り込むため、著者は S-Adapter を提案しました。

そのインスピレーションは、従来のテクスチャ解析方法である Local Binary Pattern(LBP)から来ています。上の図(a)のように。

LBP は近傍画素と中心を比較し、得られたコードをヒストグラムにまとめます。基本的な LBP は大小関係を保つ単調な濃淡変換には不変です。

S-Adapter のデザインは、このロジックを Transformer の世界に再解釈したものです:

ViT のトークンにも統計を学習させ、局所的なテクスチャから空間的な分布特徴を抽出する。

全体の構造は以下の通りです:

モジュールは 2 つの段階に分かれています:Token Map Extraction と Token Histogram Extraction。

Token Map Extraction

FAS シナリオにおいて、攻撃か否かを判断する鍵はしばしば局所的な細部に隠れています。

これらの細部は、再撮影時に生じるぼやけや、エッジの破綻、小さなテクスチャ異常などで、これらの特徴は Transformer の元々のグローバルな注意機構では捉えにくいものです。

パッチの系列は、既知の並び順と位置埋め込みを保持します。reshape は畳み込みのために二次元近傍を明示する操作です。

そこで、第一歩として、著者はトークンの空間的な特性を復元するプロセスを設計しました:

  • 入力トークン X∈RNP×CX \in \mathbb{R}^{N_P \times C} を与え、ここで NPN_P はパッチトークンの数(class トークンは除外)、CC は埋め込み次元;
  • それを XR∈RH×W×CX_R \in \mathbb{R}^{H \times W \times C} にリシェイプし、H×W=NPH \times W = N_P とします;
  • 次に、次元を置換(permute)して XM∈RC×H×WX_M \in \mathbb{R}^{C \times H \times W} にし、CC チャネルの画像のような形になります。

その後、2D 畳み込み層 WConvW_\text{Conv} を使って局所的な特徴を抽出します:

Z=WConv(XM)Z = W_{\text{Conv}}(X_M)

明示的な局所畳み込みバイアスを追加します。

モデルをさらに局所的な変化に敏感にするために、著者は中心差分(Center Difference, CD)操作を導入しました:

  • 各トークン ZnZ_n について、その周囲の隣接トークン PnP_n との差分を計算;
  • 畳み込みカーネルの重み ω(p)\omega(p) で加重した合計を計算:
Zng=∑p∈Pnω(p)⋅(Zp−Zn)Z^g_n = \sum_{p \in P_n} \omega(p) \cdot (Z_p - Z_n)

これにより得られた ZgZ^g は、特に微妙なテクスチャの変化に対する細やかな局所的な勾配特徴をキャプチャします。

最終的に、元の特徴 ZZ と勾配特徴 ZgZ^g を融合し、新しいトークンマップを形成します:

Z∗=(1−θ)Z+θZgZ^* = (1 - \theta) Z + \theta Z^g

ここで、θ\theta は二者の融合比率を制御します。これにより、ViT においても CNN のような局所的な特徴感度を導入できるようになります。

Token Histogram Extraction

局所的特徴を加えたとしても、domain shift(異なるデバイスや照明条件による変動)は依然としてモデルの安定性を損なう可能性があります。

その理由は、局所的なピクセル値自体が環境要因によって干渉を受けやすいためです。

そこで第二段階として、著者はこれらの局所的特徴をさらに統計的に扱うことを決定し、各小領域での微分可能なヒストグラムを計算します。

直感的に言うと:

  • 各 patch token の近傍でソフトビンニングを行い;
  • 単一のピクセル値ではなく、統計ベクトルを取得;
  • モデルが局所領域の全体的な構造分布を学習できるようにし、クロスドメイン安定性を向上させます。

計算過程は以下の通りです:

μc\mu_c は中心、γc\gamma_c は幅の制御パラメータです。∣γc∣|\gamma_c| が大きいほど応答が狭くなるため、幅そのものではなく逆スケールとして働きます。中心に対称な 3×33\times3 近傍 N={−1,0,1}2\mathcal{N}=\{-1,0,1\}^2 を使うと:

ZHistc,h,w=19∑(j,k)∈Nexp⁡(−γc2(Zc,h+j,w+k∗−μc)2)Z_{\text{Hist}}^{c,h,w} = \frac{1}{9} \sum_{(j,k)\in\mathcal{N}} \exp \Bigl( -\gamma_c^2 (Z^*_{c,h+j,w+k} - \mu_c)^2 \Bigr)

ここで:

  • J=K=3J = K = 3、すなわち 3x3 の畳み込みウィンドウ;
  • ストライド = 1、パディング = 1、サイズが変わらないようにします。

このソフトビンニングにより、bin center に近い値が大きな貢献をし、遠い値は小さな貢献をすることで、微分可能な形になります。

さらに分解すると:

ZHistc,h,w=19∑(j,k)∈Nexp⁡(−Uc,j,k2)Z_{\text{Hist}}^{c,h,w} = \frac{1}{9} \sum_{(j,k)\in\mathcal{N}} \exp (-U_{c,j,k}^2) Uc,j,k=γc(Zc,h+j,w+k∗−μc)U_{c,j,k} = \gamma_c (Z^*_{c,h+j,w+k} - \mu_c)

Uc,j,kU_{c,j,k} はチャネルごとの二つの 1×11\times1 アフィン変換で実装できます。全結合型の畳み込みで全重みを 1 にするとチャネルが混ざり、この式と等価にはなりません:

  • 第一層 WConv1W_{\text{Conv1}}:重みは 1 に固定、バイアスは学習可能(−μ-\muに対応);
  • 第二層 WConv2W_{\text{Conv2}}:バイアスは 0 に固定、重みは学習可能(γ\gammaに対応)。

このような設計により、bin center と bin width は訓練によって自動的に調整されます。

本文の ViT-Base は 768 次元 token と 8 チャネルの Adapter bottleneck を使います。ZHistZ_{\mathrm{Hist}} を NP×8N_P\times8 に変形し、NP×768N_P\times768 に投影して元の入力へ加算します。これらは設定依存の次元です。統計対象は隣接 patch token の学習特徴であり、元画像の各 patch 内の生画素ではありません。

Gram Matrix

深層学習の文脈では、画像特徴を大まかに二つのカテゴリに分けることができます:

  • Content:タスクに関連する本質的な情報、例えばテクスチャの破綻、ぼやけたエッジ、再構成痕跡など;
  • Style:画像撮影環境に関連するスタイルの特徴、例えば照明、彩度、色の偏り、ノイズの分布など。

過去には、これら二つの情報を分離するために、adversarial learning を使用した多くの手法が試みられました。しかし、そのような手法は不安定で収束しにくく、特に cross-domain タスクでは収束速度や安定性が課題となります。

本論文では、より直感的なアプローチを採用しています:スタイルは Gram 行列で表現できることが分かっているので、直接 Gram 行列に正則化を施す。

まず、著者はトークンマップZ∈RC×H×WZ \in \mathbb{R}^{C \times H \times W} の Gram 行列を次のように定義しました:

G(Z)k,k′=1CHW∑h=1H∑w=1WZk,h,w⋅Zk′,h,wG(Z)_{k,k'} = \frac{1}{CHW} \sum_{h=1}^H \sum_{w=1}^W Z_{k,h,w} \cdot Z_{k',h,w}

Zk,h,wZ_{k,h,w} は位置 (h,w)(h,w) のチャネル kk の値です。この Gram 行列は平均を引かない二次の内積統計で、共分散と同じではありません。スタイルの代理表現であり、完全または純粋なスタイル記述でもありません。

著者の設計では、すべての画像スタイルが一致することを求めているのではなく、bonafide(本物)サンプル間のスタイルの一貫性のみを正則化しています。

このデザインには二つの利点があります:

  1. 攻撃には直接のドメイン間 Gram 整合を課しません。ただしパラメータを共有するため、生体側の正則化も攻撃特徴へ間接的に影響します。
  2. 生体を整合しやすくし、攻撃間の違いを残すというモデル上の仮定です。現実の生体がすべて同じ分布に従うと証明したものではありません。

二つのドメインから来た bonafide トークンマップ、ZD1Z_{D1}とZD2Z_{D2}が与えられた場合、スタイル正則化損失は次のように定義されます:

LTSR=∥G(ZD1)−G(ZD2)∥F2\mathcal{L}_{\text{TSR}} = \left\| G(Z_{D1}) - G(Z_{D2}) \right\|_F^2

生体の Gram 差を減らしてドメイン固有のスタイルの影響を抑えることが狙いです。

下図はこの設計ロジックです:

異なるドメインの bonafide サンプルをそのスタイルに整列させ、spoof 攻撃サンプルには追加の制約を加えず、識別性を保持します。

TSR に加えて、モデルは最終的に真偽を識別できる必要があるため、著者は一般的な BCE(バイナリ交差エントロピー)を使用しています:

LBCE=−[y⋅log⁡(y^)+(1−y)⋅log⁡(1−y^)]\mathcal{L}_{\text{BCE}} = - \left[ y \cdot \log(\hat{y}) + (1 - y) \cdot \log(1 - \hat{y}) \right]

Gram 行列は最後の Transformer block の token map から計算します。三つ以上のソースではドメイン対 P={(i,j):i<j}\mathcal{P}=\{(i,j):i<j\} の損失を平均するため、分母はドメイン数ではなく対の数 ∣P∣|\mathcal{P}| です:

LTSRavg=1∣P∣∑(i,j)∈P∥G(ZDi)−G(ZDj)∥F2\mathcal{L}_{\text{TSR}}^{\text{avg}} = \frac{1}{|\mathcal{P}|} \sum_{(i,j)\in\mathcal{P}} \left\| G(Z_{D_i}) - G(Z_{D_j}) \right\|_F^2

最終的な総損失は次のように計算されます:

Ltotal=LBCE+λ⋅LTSRavg\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{BCE}} + \lambda \cdot \mathcal{L}_{\text{TSR}}^{\text{avg}}

λ\lambda は正則化の強さです。上の BCE は y=0y=0 が生体、y=1y=1 が攻撃で、y^\hat y は攻撃確率です。訓練ではサンプルごとの損失を集約します。

討論

このセクションでは、S-Adapter のさまざまな実験設定での性能を見ていきます。

著者は四つの異なる評価タイプを行いました:

  • Intra-Domain テスト(単一ドメイン内の訓練とテスト)
  • Cross-Domain テスト(異なるドメイン間)
  • Few-Shot Cross-Domain テスト(少量のターゲットデータ)
  • Unseen Attack テスト(未見の攻撃タイプ)

使用されたデータセットには、CASIA-FASD、Replay Attack、MSU MFSD、OULU-NPU、SiW-M が含まれます。評価指標には、HTER、ACER、EER、AUC、FPR = 1%時の TPR が含まれます。

Intra-Domain テスト

著者は OULU-NPU の 4 つの標準プロトコルにおいて、既存の方法と S-Adapter のパフォーマンスを比較しました。結果は以下の表の通りです:

OULU-NPU の ACER は P1 から順に 0.1%、0.8%、1.1±1.0%、2.7±3.5% です。P1、P3、P4 は表中で最小ですが、P2 は EPCR の 0.6% より高くなります。単一データセット内の結果だけでは、局所特徴と統計特徴の効果を個別に切り分けることはできません。

しかし、Intra-Domain だけでは汎化能力を証明するには十分ではありません。

Cross-Domain テスト

Cross-Domain テストには、クラシックな MICO プロトコル(CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU の 4 つのデータセットから 1 つを除外するテスト)が使用されました。

結果は以下の表の通りです:

S-Adapter-TSR は表中の ViT† に対し、四方向の HTER/AUC を改善し、SSAN-R、MetaPattern も上回ります。ViT† は条件を揃えるため追加の CelebA-Spoof データを除いており、それを使う他論文の ViT 数値とは区別する必要があります。

これは、前述の設計の核心を再確認させるものです:ViT を単に微調整するだけでなく、FAS タスクの特性に合わせて局所的な識別力とスタイルの耐干渉能力を強化しています。

Limited Source Domains テスト

現実の状況では、クロスドメインデータセットを収集するのは容易ではありません。

そのため、著者は「2 つのソースデータセットのみで訓練した場合」(例えば MSU + Replay)に、モデルがクロスドメイン性能を維持できるかどうかをさらにテストしました。

結果は以下の表の通りです:

M&I→C の HTER/AUC は 17.93%/89.56% で AMEL の 23.33%/85.17% より良い一方、M&I→O の 19.76%/86.87% は AMEL の 19.68%/87.01% よりわずかに悪い結果です。

アブレーション実験

最後に、著者は S-Adapter と TSR それぞれの貢献を具体的に検証するためにアブレーション実験を行いました。

S-Adapter のコンポーネントの効果

まず、著者は異なるバージョンの S-Adapter を検証しました:

  • S-Adapter(完全バージョン)
  • S-Adapter w/o hist(ヒストグラム層を削除)
  • S-Adapter w/o hist(θ=0)(ヒストグラムと勾配抽出を同時に削除)

実験結果は以下の図の通りです:

実験結果から以下のことがわかります:

  • 完全版 S-Adapter は 4 つのクロスドメインシナリオで HTER が最良の結果を示しました;
  • ヒストグラムを削除した(w/o hist)場合、パフォーマンスが明らかに低下;
  • 勾配を除くと多くの設定でさらに悪化しますが、すべてではありません。後述の O ドメインの例外も確認します。

これにより、統計的特徴(ヒストグラム)と局所的勾配はクロスドメイン識別に実質的な貢献をしていることが証明されました。

ただし、C&I&M to Oという特異な状況では、勾配を加えることで HTER がわずかに増加しました。

著者は、OULU-NPU データセットの解像度が高く、I、C、M ソースの解像度が低いため、勾配特徴が解像度間で一致しない可能性があると推測しています。一方、ヒストグラム統計層はこのギャップを平滑化できるため、最終的に安定したパフォーマンスを維持しました。

ヒストグラムがバニラアダプタに与える強化効果

ヒストグラムが一般的に有効であるかを検証するために、著者は標準的なバニラアダプタに CDC 層とヒストグラム層を追加しました。

結果は以下の通りです:

結果からわかるのは:

  • CDC を追加すると HTER が低下(HTER は低いほど良い);
  • ヒストグラムを追加すると、HTER の低下幅がさらに顕著になります。

検証した vanilla Adapter にもヒストグラムが有効であることを示しますが、あらゆる構造やデータに普遍的な改善をもたらす証明ではありません。

TSR モジュールと λ 超パラメータ

次に、Token Style Regularization(TSR)のアブレーションを見てみましょう。

著者は λ 値を 0 から 1 まで設定し、HTER への影響を観察しました。結果は以下の通りです:

結果からわかるのは:

  • 四本の曲線で最良の λ\lambda は同じではありません。例えば C&I&O→M では λ=0.05\lambda=0.05 の HTER が λ=0\lambda=0 より高くなります。
  • 大きな λ\lambda では HTER が再び上がる場合があり、C&M&I→O の λ=1.0\lambda=1.0 は中間の設定より明らかに高い値です。
  • 著者は 0.1 のような小さい値を出発点として勧めますが、各データの組み合わせで確認が必要です。

結論

この論文は、より深い ViT バックボーンを追求したり、複雑な敵対的学習を使ってドメインシフトを逆転させようとするのではなく、比較的素朴で効果的なアプローチを選びました:

局所的なテクスチャと統計的特徴を再理解し、Vision Transformer に差異を感知させる。

S-Adapter の各設計は、FAS タスクの最も根本的な二つの問題に直接アプローチしています:

  • 局所的な詳細の識別
  • クロス環境でのスタイル差異に対する耐干渉性

本研究は局所的な帰納バイアスと統計特徴が転移を改善する例です。基準評価とアブレーションが有効性を支持しますが、汎化範囲は検証したデータ、攻撃、評価条件に制約されます。