論文ノートライブラリに戻る
arXiv 2024IJCB 2024顔のなりすまし検知論文ノート

La-SoftMoE

希薄な亀裂

原論文

La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection

論文の著者

Hang Zou · Chenxi Du · Hui Zhang …

著者全 7 名を表示

Hang Zou · Chenxi Du · Hui Zhang · Yuan Zhang · Ajian Liu · Jun Wan · Zhen Lei

発表先
IJCB 2024国際会議
arXiv への初回投稿
arXiv:2408.12793
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{faceantispoofinglasoftmoe2024,
  title = {{La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection}},
  author = {Hang Zou and Chenxi Du and Hui Zhang and Yuan Zhang and Ajian Liu and Jun Wan and Zhen Lei},
  year = {2024},
  eprint = {2408.12793},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2408.12793}
}
このページの内容

物理攻撃には、プリンターから出てくるカラー写真も、精巧なマスクの暗い眼窩もある。

デジタル攻撃には、アルゴリズムが作る幻影も、画像の記録そのものを改ざんするものもある。

顔認識システムの境界は、これまでになく曖昧になっている。

問題の定義

これまでの研究では、この二つを別々の課題として扱ってきました。

  • PAD(Physical Attack Detection):

    複数のセンサーや生理的な特徴を取り出し、実世界で測れる手掛かりを重視します。

  • DAD(Digital Attack Detection):

    特徴の細部、周波数領域の異常、視覚的な偽装のパターンを調べます。

それぞれで成果は出ているものの、配備のたびにモデルを重複して用意することになり、課題間で知識を移すのも難しくなります。

実際の環境では、システムの側で「今日は一種類の攻撃だけ」と選ぶことはできません。だからこそ、Unified Attack Detection(UAD) は自然で切実な研究課題になります。

統一した入力の特徴を、さらに融合する必要があります。

UniAttackData の特徴分布を見ると、二種類の攻撃は埋め込み空間で大きく離れています。特に ID consistency を備えた設定では、同じ顔に対する攻撃サンプルさえ、互いに離れた集まりを作ります。

この「希薄かつ分裂した特徴空間」こそが既存手法の盲点である。

研究者は多分岐の設計(CA-MoEiT など)、マルチタスク学習、生理情報の利用で二種類の攻撃に対応しようとしました。しかし、そこには新たな難しさもあります。

  • 構造が複雑になれば計算資源と配備時の遅延が増えます。
  • ID consistency のないデータセットでは、背景や意味と関係の薄い手掛かりを学ぶおそれがあります。
  • CLIP のような大規模な汎用モデルでも、特徴分布が疎なら分類の論理が揺らぎます。

このような状況下で、たとえ CLIP のような視覚言語モデルであっても、希薄な特徴空間において「偽の顔」の統一的な文法を識別することは困難だ。

ここで見えてくるのは、単にデータが足りないのではなく、意味を持つ特徴の分布があまりに分裂しているのではないか、という疑問です。モデルの容量よりも、その力の使い方が問題なのかもしれません。

そろそろモデルに、自分で仕事を振り分け、協力する方法を覚えさせる時なのかもしれません。

そこから Mixture-of-Experts(MoE) という設計につながります。

問題の解決

この問題に対して、著者は Mixture-of-Experts(MoE)と線形注意を組み合わせた La-SoftMoE CLIP を提案します。

元の CLIP を土台に、疎な意味分布に対する分類を強める設計です。

SoftMoE モジュール設計

著者は Soft Mixture-of-Experts(SoftMoE) を CLIP の画像エンコーダに入れます。上図のように、ViT の各残差ブロックに加える構成です。

通常の MoE と比べた特徴は、次の三つです。

  • 柔らかい dispatch:softmax の重みで入力 token を slot に渡し、top-kk の硬い割当で起こり得る token dropping を和らげます。ただし、論文は専門家間の負荷均衡を単独では測っていません。
  • 微分可能な構成:重み付けを含む経路を微分でき、主幹ネットワークと一緒に学習できます。
  • 拡張の余地:top-kk の専門家を並べ替えて選ぶ必要はありません。著者は専門家を増やしやすいと考えています。

計算の流れを追ってみましょう。

  1. Dispatch Weights

    従来の top-kk 分派に代わって使うのが、soft dispatch です。

    ここで slot という中間表現を置きます。一つの slot が受け取るのは、一つの token だけではありません。複数の token の意味を重み付きで集めたものです。各 expert はいくつかの slot を処理するので、入力に応じて異なる計算を担当できます。

    入力 token 行列を XX とし、学習可能な Φ\Phi で dispatch logits を作ります。m=e⋅sm=e\cdot s 個の slot それぞれについて、token 方向に softmax を取ります。

    Dij=exp⁡[(XΦ)ij]∑i′=1nexp⁡[(XΦ)i′j],X~=D ⁣⊤XD_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\sum_{i'=1}^{n}\exp\bigl[(X\Phi)_{i'j}\bigr]} ,\qquad \tilde X = D^{\!\top}X
    • D∈Rn×mD\in\mathbb R^{n\times m} は dispatch の重みで、token ii が slot jj にどれだけ寄与するかを表します。
    • X~\tilde X は slot に集められた入力表現です。第 jj 行には slot jj の重み付き意味ベクトルが入ります。

    こうして各 slot は全 token から情報を受け取りますが、重みは slot ごとに違います。token 単位の特徴を、expert が共有できる slot 単位の表現に変えるわけです。

    柔らかい分派は token dropping の危険を和らげ、後の expert 処理と combine weights のための微分可能な基盤になります。


  1. Expert 処理と Combine Weights

    X~\tilde X を slot ごとに ee 個の expert へ渡します。各 expert は ss 個の slot を処理し、slot の出力 Y~\tilde Y を返します。

    次に、各 token がどの slot から情報を取り戻すかを決める Combine Weights C\mathbf C を計算します。今度は token ごとに、slot 方向の row-wise softmax を使います。

    Cij=exp⁡[(XΦ)ij]∑j′=1e⋅sexp⁡[(XΦ)ij′],Y=C Y~  C_{ij}= \frac{\exp\bigl[(X\Phi)_{ij}\bigr]} {\displaystyle \sum_{j'=1}^{e\cdot s}\exp\bigl[(X\Phi)_{ij'}\bigr]} ,\qquad Y = C\,\tilde Y\;

    YY が SoftMoE から戻る token の列です。本論文ではこのモジュールを ViT の attention の後に置き、元の MLP と並列に動かします。

La-SoftMoE

SoftMoE は dispatch と組み合わせを柔らかい重みで行えますが、著者は組み合わせ側にまだ限界があると考えます。

元の設計では、出力 token が全 slot から情報を戻す重みは、dispatch と同じ logits に row-wise softmax をかけて決めます。slot ごとに重みは違っても、この固定した計算方法だけでは expert の出力の違いを十分に扱えないかもしれません。

そこで提案するのが La-SoftMoE です。変更点は二つあります。

  1. Row-wise softmax を Linear Attention に置き換える

    特徴写像 ϕ(⋅)\phi(\cdot) を使って注意を計算し、組み合わせ重みが slot の表現を考慮できるようにします。この種の線形注意は、系列長に対する注意計算の費用を抑えることを狙います。ただし本論文は、系列長を変えた配備時の測定値を示していません。

  2. 重みの計算に Instance Normalization を加える

    La-SoftMoE は Linear Attention の出力に Instance Normalization をかけてから combine weights を使います。この工程だけを外した消融はないので、安定性や汎化への独立した寄与は分かりません。

実装の詳細

  • 配置:ViT の 12 個の残差ブロックに入れ、元の Feed-Forward MLP と並列に動かします。
  • 専門家と slot:各層に e=4e=4 個の expert、各 expert に s=49s=49 個の slot を割り当て、合計は m=196m=196 個です。増やした場合のメモリや遅延は測っていません。
  • 費用の評価:論文には元の ViT に対する推論遅延や F1-score の増加量は載っていません。
  • 実装の手掛かり:疑似コードは einsum で token と slot の行列演算を示し、Linear Attention の後に Instance Normalization を置きます。

こうした組合せにより、La-SoftMoE CLIP は複数の expert を PA と DA の特徴の学習に参加させます。ただし追加パラメータや推論全体の費用は、論文では定量化していません。

二つの評価基準では元の CLIP より ACER が改善しました。未見の目標ドメインに対する汎化は、目標ドメインを訓練から外す別の協定で確かめる必要があります。

考察

実験の中心となるのは UniAttackData です。これは ID consistency を備えた最初の Unified Attack Detection ベンチマークで、次を含みます。

  • 1,800 人の被験者、二種類の物理攻撃(PA)と十二種類のデジタル攻撃(DA)
  • live/fake の対応するサンプルを使う、第一の評価プロトコル

補助的な実験には、従来の PAD とディープフェイクによる DAD を含む、九つの FAS サブセットをまとめた JFSFDB を使います。

ここでの JFSFDB は joint training の協定です。あるデータセットをまるごと未見の目標として残す試験ではありません。

バックボーンは ViT-B/16。各層に四つの expert と各 expert につき四十九の slot を置き、A100 GPU 上で Adam と学習率 10−610^{-6} により訓練します。

実験結果の分析(UniAttackData)

この表は La-SoftMoE CLIP と既存手法の比較です。主要指標のうち二つで、表中の最良値を得ました。

  • ACER:0.32%(それまでの最良値は 0.52%)
  • ACC:99.54%(それまでの最良値は 99.45%)
  • AUC と EER は最良の比較手法には少し及びませんが、それぞれ 99.72% と 0.56% です。

このデータセットでは、判定の誤りが少ない結果です。特徴空間が本当により緊密になったかどうかは、後の可視化と合わせて見ます。

混合データセットでの試験(JFSFDB)

別の物理・デジタル攻撃を混ぜた基準でも確かめるため、著者は JFSFDB の joint training 協定で試します。UniAttackData と同じ条件で数字を直接比べることはできません。La-SoftMoE CLIP の結果は次のとおりです。

  • ACER:4.21%
  • ACC:95.85%
  • AUC:99.11%
  • EER:4.19%

著者は、二つのデータセットの分布も t-SNE で描いています。

UniAttackData の点はよりまとまり、曲線に沿ってつながっています。JFSFDB の点はもっと散らばっています。著者は ID consistency を理由の一つと考えますが、この t-SNE だけで成績差の主因は特定できません。

Prompt Robustness の試験

CLIP 系のモデルは言葉による提示に敏感です。著者は、意味は近くても形の違う八つの文(T-1~T-8)を用意し、La-SoftMoE CLIP がどれだけ表現の違いに対応できるかを調べました。

結果を見ると、

  • T-8(This is an image of a <fake/live> face) は ACER がもっとも低く、ACC は T-3 と同率で最高です。
  • T-3(A photo of a <fake/live> face) は AUC がもっとも高く、EER がもっとも低い結果です。

次の図は、提示文によって数値がどう変わるかを示します。

八つの文で ACER は 0.32% から 0.63% まで変わりました。違う言い回しにも対応できていますが、どんな提示文でも同じように安定する、とまでは言えません。

消融実験

Table 6 では、順に三つのモデルを比べます。

  • Vanilla CLIP
  • CLIP + SoftMoE
  • CLIP + La-SoftMoE

この試験では、SoftMoE と La-SoftMoE を加えるにつれて ACER と EER は下がり、ACC は上がります。一方、両者の AUC は vanilla CLIP の 99.76% に届きません。La-SoftMoE では Linear Attention と Instance Normalization が同時に変わります。

最後に、著者は四つのモデルが作る特徴の分布を図にしました。

  • ResNet-50(左上)
  • CLIP(右上)
  • CLIP + SoftMoE(左下)
  • CLIP + La-SoftMoE(右下)

CLIP の真偽の点には混ざる部分があります。SoftMoE を加えると、この図のサンプルではより分かれて見えます。La-SoftMoE でも二種類の点はおおむね分かれています。

この実験群は、二つの混合攻撃ベンチマークで La-SoftMoE の識別指標が良かったことを示します。特徴の構造と計算費用は、別の直接的な測定も必要です。

結論

この論文は Soft Mixture-of-Experts(SoftMoE)を CLIP の画像エンコーダへ入れ、線形注意と正規化で情報を token に戻す重みの計算を変えました。その結果、異質な物理攻撃とデジタル攻撃の特徴に、複数の expert で対応しようとします。大きな計算費用をかけずに済むかどうかは、論文に遅延の測定値がないため、まだ判断できません。

この研究が示す発想は、意味の分布が分裂しているなら、一つの形へ無理に押し込むより、専門家に仕事を振り分け、責任を共有させることです。そこから特徴空間の組み立て方を考え直せます。

今後は、意味に基づく routing、prompt を条件にした生成、異なるモダリティにまたがる token と slot の整合を、さらに調べられるでしょう。