La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection
- 発表先
- IJCB 2024国際会議
- arXiv への初回投稿
- arXiv:2408.12793
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{faceantispoofinglasoftmoe2024,
title = {{La-SoftMoE CLIP for Unified Physical-Digital Face Attack Detection}},
author = {Hang Zou and Chenxi Du and Hui Zhang and Yuan Zhang and Ajian Liu and Jun Wan and Zhen Lei},
year = {2024},
eprint = {2408.12793},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2408.12793}
}
物理攻撃には、プリンターから出てくるカラー写真も、精巧なマスクの暗い眼窩もある。
デジタル攻撃には、アルゴリズムが作る幻影も、画像の記録そのものを改ざんするものもある。
顔認識システムの境界は、これまでになく曖昧になっている。
問題の定義
これまでの研究では、この二つを別々の課題として扱ってきました。
-
PAD(Physical Attack Detection):
複数のセンサーや生理的な特徴を取り出し、実世界で測れる手掛かりを重視します。
-
DAD(Digital Attack Detection):
特徴の細部、周波数領域の異常、視覚的な偽装のパターンを調べます。
それぞれで成果は出ているものの、配備のたびにモデルを重複して用意することになり、課題間で知識を移すのも難しくなります。
実際の環境では、システムの側で「今日は一種類の攻撃だけ」と選ぶことはできません。だからこそ、Unified Attack Detection(UAD) は自然で切実な研究課題になります。
統一した入力の特徴を、さらに融合する必要があります。
UniAttackData の特徴分布を見ると、二種類の攻撃は埋め込み空間で大きく離れています。特に ID consistency を備えた設定では、同じ顔に対する攻撃サンプルさえ、互いに離れた集まりを作ります。
この「希薄かつ分裂した特徴空間」こそが既存手法の盲点である。
研究者は多分岐の設計(CA-MoEiT など)、マルチタスク学習、生理情報の利用で二種類の攻撃に対応しようとしました。しかし、そこには新たな難しさもあります。
- 構造が複雑になれば計算資源と配備時の遅延が増えます。
- ID consistency のないデータセットでは、背景や意味と関係の薄い手掛かりを学ぶおそれがあります。
- CLIP のような大規模な汎用モデルでも、特徴分布が疎なら分類の論理が揺らぎます。
このような状況下で、たとえ CLIP のような視覚言語モデルであっても、希薄な特徴空間において「偽の顔」の統一的な文法を識別することは困難だ。
ここで見えてくるのは、単にデータが足りないのではなく、意味を持つ特徴の分布があまりに分裂しているのではないか、という疑問です。モデルの容量よりも、その力の使い方が問題なのかもしれません。
そろそろモデルに、自分で仕事を振り分け、協力する方法を覚えさせる時なのかもしれません。
そこから Mixture-of-Experts(MoE) という設計につながります。
問題の解決
この問題に対して、著者は Mixture-of-Experts(MoE)と線形注意を組み合わせた La-SoftMoE CLIP を提案します。
元の CLIP を土台に、疎な意味分布に対する分類を強める設計です。
SoftMoE モジュール設計
著者は Soft Mixture-of-Experts(SoftMoE) を CLIP の画像エンコーダに入れます。上図のように、ViT の各残差ブロックに加える構成です。
通常の MoE と比べた特徴は、次の三つです。
- 柔らかい dispatch:softmax の重みで入力 token を slot に渡し、top- の硬い割当で起こり得る token dropping を和らげます。ただし、論文は専門家間の負荷均衡を単独では測っていません。
- 微分可能な構成:重み付けを含む経路を微分でき、主幹ネットワークと一緒に学習できます。
- 拡張の余地:top- の専門家を並べ替えて選ぶ必要はありません。著者は専門家を増やしやすいと考えています。
計算の流れを追ってみましょう。
-
Dispatch Weights
従来の top- 分派に代わって使うのが、soft dispatch です。
ここで slot という中間表現を置きます。一つの slot が受け取るのは、一つの token だけではありません。複数の token の意味を重み付きで集めたものです。各 expert はいくつかの slot を処理するので、入力に応じて異なる計算を担当できます。
入力 token 行列を とし、学習可能な で dispatch logits を作ります。 個の slot それぞれについて、token 方向に softmax を取ります。
- は dispatch の重みで、token が slot にどれだけ寄与するかを表します。
- は slot に集められた入力表現です。第 行には slot の重み付き意味ベクトルが入ります。
こうして各 slot は全 token から情報を受け取りますが、重みは slot ごとに違います。token 単位の特徴を、expert が共有できる slot 単位の表現に変えるわけです。
柔らかい分派は token dropping の危険を和らげ、後の expert 処理と combine weights のための微分可能な基盤になります。
-
Expert 処理と Combine Weights
を slot ごとに 個の expert へ渡します。各 expert は 個の slot を処理し、slot の出力 を返します。
次に、各 token がどの slot から情報を取り戻すかを決める Combine Weights を計算します。今度は token ごとに、slot 方向の row-wise softmax を使います。
が SoftMoE から戻る token の列です。本論文ではこのモジュールを ViT の attention の後に置き、元の MLP と並列に動かします。
La-SoftMoE
SoftMoE は dispatch と組み合わせを柔らかい重みで行えますが、著者は組み合わせ側にまだ限界があると考えます。
元の設計では、出力 token が全 slot から情報を戻す重みは、dispatch と同じ logits に row-wise softmax をかけて決めます。slot ごとに重みは違っても、この固定した計算方法だけでは expert の出力の違いを十分に扱えないかもしれません。
そこで提案するのが La-SoftMoE です。変更点は二つあります。
-
Row-wise softmax を Linear Attention に置き換える
特徴写像 を使って注意を計算し、組み合わせ重みが slot の表現を考慮できるようにします。この種の線形注意は、系列長に対する注意計算の費用を抑えることを狙います。ただし本論文は、系列長を変えた配備時の測定値を示していません。
-
重みの計算に Instance Normalization を加える
La-SoftMoE は Linear Attention の出力に Instance Normalization をかけてから combine weights を使います。この工程だけを外した消融はないので、安定性や汎化への独立した寄与は分かりません。
実装の詳細
- 配置:ViT の 12 個の残差ブロックに入れ、元の Feed-Forward MLP と並列に動かします。
- 専門家と slot:各層に 個の expert、各 expert に 個の slot を割り当て、合計は 個です。増やした場合のメモリや遅延は測っていません。
- 費用の評価:論文には元の ViT に対する推論遅延や F1-score の増加量は載っていません。
- 実装の手掛かり:疑似コードは
einsumで token と slot の行列演算を示し、Linear Attention の後に Instance Normalization を置きます。
こうした組合せにより、La-SoftMoE CLIP は複数の expert を PA と DA の特徴の学習に参加させます。ただし追加パラメータや推論全体の費用は、論文では定量化していません。
二つの評価基準では元の CLIP より ACER が改善しました。未見の目標ドメインに対する汎化は、目標ドメインを訓練から外す別の協定で確かめる必要があります。
考察
実験の中心となるのは UniAttackData です。これは ID consistency を備えた最初の Unified Attack Detection ベンチマークで、次を含みます。
- 1,800 人の被験者、二種類の物理攻撃(PA)と十二種類のデジタル攻撃(DA)
- live/fake の対応するサンプルを使う、第一の評価プロトコル
補助的な実験には、従来の PAD とディープフェイクによる DAD を含む、九つの FAS サブセットをまとめた JFSFDB を使います。
ここでの JFSFDB は joint training の協定です。あるデータセットをまるごと未見の目標として残す試験ではありません。
バックボーンは ViT-B/16。各層に四つの expert と各 expert につき四十九の slot を置き、A100 GPU 上で Adam と学習率 により訓練します。
実験結果の分析(UniAttackData)
この表は La-SoftMoE CLIP と既存手法の比較です。主要指標のうち二つで、表中の最良値を得ました。
- ACER:0.32%(それまでの最良値は 0.52%)
- ACC:99.54%(それまでの最良値は 99.45%)
- AUC と EER は最良の比較手法には少し及びませんが、それぞれ 99.72% と 0.56% です。
このデータセットでは、判定の誤りが少ない結果です。特徴空間が本当により緊密になったかどうかは、後の可視化と合わせて見ます。
混合データセットでの試験(JFSFDB)
別の物理・デジタル攻撃を混ぜた基準でも確かめるため、著者は JFSFDB の joint training 協定で試します。UniAttackData と同じ条件で数字を直接比べることはできません。La-SoftMoE CLIP の結果は次のとおりです。
- ACER:4.21%
- ACC:95.85%
- AUC:99.11%
- EER:4.19%
著者は、二つのデータセットの分布も t-SNE で描いています。
UniAttackData の点はよりまとまり、曲線に沿ってつながっています。JFSFDB の点はもっと散らばっています。著者は ID consistency を理由の一つと考えますが、この t-SNE だけで成績差の主因は特定できません。
Prompt Robustness の試験
CLIP 系のモデルは言葉による提示に敏感です。著者は、意味は近くても形の違う八つの文(T-1~T-8)を用意し、La-SoftMoE CLIP がどれだけ表現の違いに対応できるかを調べました。
結果を見ると、
- T-8(This is an image of a <fake/live> face) は ACER がもっとも低く、ACC は T-3 と同率で最高です。
- T-3(A photo of a <fake/live> face) は AUC がもっとも高く、EER がもっとも低い結果です。
次の図は、提示文によって数値がどう変わるかを示します。
八つの文で ACER は 0.32% から 0.63% まで変わりました。違う言い回しにも対応できていますが、どんな提示文でも同じように安定する、とまでは言えません。
消融実験
Table 6 では、順に三つのモデルを比べます。
- Vanilla CLIP
- CLIP + SoftMoE
- CLIP + La-SoftMoE
この試験では、SoftMoE と La-SoftMoE を加えるにつれて ACER と EER は下がり、ACC は上がります。一方、両者の AUC は vanilla CLIP の 99.76% に届きません。La-SoftMoE では Linear Attention と Instance Normalization が同時に変わります。
最後に、著者は四つのモデルが作る特徴の分布を図にしました。
- ResNet-50(左上)
- CLIP(右上)
- CLIP + SoftMoE(左下)
- CLIP + La-SoftMoE(右下)
CLIP の真偽の点には混ざる部分があります。SoftMoE を加えると、この図のサンプルではより分かれて見えます。La-SoftMoE でも二種類の点はおおむね分かれています。
この実験群は、二つの混合攻撃ベンチマークで La-SoftMoE の識別指標が良かったことを示します。特徴の構造と計算費用は、別の直接的な測定も必要です。
結論
この論文は Soft Mixture-of-Experts(SoftMoE)を CLIP の画像エンコーダへ入れ、線形注意と正規化で情報を token に戻す重みの計算を変えました。その結果、異質な物理攻撃とデジタル攻撃の特徴に、複数の expert で対応しようとします。大きな計算費用をかけずに済むかどうかは、論文に遅延の測定値がないため、まだ判断できません。
この研究が示す発想は、意味の分布が分裂しているなら、一つの形へ無理に押し込むより、専門家に仕事を振り分け、責任を共有させることです。そこから特徴空間の組み立て方を考え直せます。
今後は、意味に基づく routing、prompt を条件にした生成、異なるモダリティにまたがる token と slot の整合を、さらに調べられるでしょう。