論文ノートライブラリに戻る
BMVC 2023顔のなりすまし検知論文ノート

3A-TTA

荒野でのサバイバル

原論文

Test-Time Adaptation for Robust Face Anti-Spoofing

論文の著者

Pei-Kai Huang · Chen-Yu Lu · Shu-Jung Chang · Jun-Xiong Chong · Chiou-Ting Hsu

発表先
BMVC 2023国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{faceantispoofingthreeatta2023,
  title = {{Test-Time Adaptation for Robust Face Anti-Spoofing}},
  author = {Pei-Kai Huang and Chen-Yu Lu and Shu-Jung Chang and Jun-Xiong Chong and Chiou-Ting Hsu},
  year = {2023},
  booktitle = {BMVC},
  url = {https://proceedings.bmvc2023.org/379/}
}
このページの内容

自分がいつ写真と本物の顔を見分けられるようになったか、きっと覚えていないでしょう。

光の当たり方かもしれないし、反射かもしれない。あるいは、言葉にしにくい違和感かもしれません。

でも、モデルにとっては決して簡単なことではありません。まして教えてくれる人がいないまま、自分で判断しなければならないなら。

問題の定義

Face Anti-Spoofing(FAS)は一見簡単でも、実際には厄介な問題です。

生体か偽造かを判断するだけのはずが、環境、攻撃の種類、機器が変わると、その判断はたちまち崩れます。

この環境間のずれに対処するため、研究者はいろいろな学習戦略を提案してきました。

  • Domain Generalization(DG)は、未知の環境でも通用するよう学ぶ。
  • Domain Adaptation(DA)は、対象環境のデータを先に見てから学ぶ。
  • Source-Free DA(SFDA)は、元の訓練データなしでも対象環境に適応する。

ただし DG は対象環境のデータを事前に使いません。DA と SFDA は対象データを使って、通常は推論前に適応します。

ところが、現実はいつも筋書きどおりには進みません。

モデルを導入した後で、見たことのない攻撃が現れる。訓練時には想定しなかった条件へ環境が変わる。学習は終わったはずのモデルに、もう一度学ぶ機会はあるのでしょうか?

この論文の出発点は、そんな状況です。

学ぶ機会が推論の瞬間にしか残されていないなら、モデルはどう動くべきか?

単なる技術上の問題ではありません。遅れて始まる、記憶との闘いです。

攻撃者の次の手は予測できなくても、最後の瞬間にモデルが見方を修正することは試せます。

解決策

著者が提案する 3A-TTA は、推論時に届いたラベルのない対象データを使い、その場でモデルを適応させる三つの仕組みを組み合わせます。

  1. Activation-based Pseudo-Labeling:テスト画像に正解ラベルがないとき、予測スコアだけに頼ると、生体と偽造の見た目が似ている場合に間違えやすくなります。そこで Grad-CAM による生体・偽造それぞれの活性化マップと特徴のコサイン類似度を比べ、疑似ラベルを作ります。
  2. Anti-Forgetting Feature Learning:新しいバッチが特定のクラスに偏ると、そこだけに合わせた更新で以前の情報を忘れかねません。信頼度の高い特徴と疑似ラベルを選び、メモリバンクに残して次の更新にも使います。
  3. Asymmetric Prototype Contrastive Learning:攻撃は種類によって姿が違うため、spoof は近い攻撃特徴を局所的にまとめます。一方、live はメモリ内の特徴を一つの全域プロトタイプにまとめます。二クラスを異なる形で扱う対比学習です。

著者の設定では、ラベルのない対象バッチが届くたびに、疑似ラベルの作成 → 信頼できる特徴の選別 → 対比学習による更新を行い、その同じバッチを推論します。元の訓練画像や追加の正解ラベルは使いません。

実験全体の結果は改善しました。

概念だけ知りたいなら、ここから結論へ飛んでもかまいません。続いて各部品の動きを見ていきましょう。

Activation-based Pseudo-Labeling

上図は、ラベルなしでどう学ぶかを示しています。ある対象画像 xj\mathbf{x}_j を、分類スコアだけで live か spoof かに振り分けると、光や表面の見た目に惑わされる場合があります。

そこで著者は、分類器から live と spoof の Grad-CAM 活性化マップ Al\mathbf{A}_l、As\mathbf{A}_s を取り出し、画像特徴 f\mathbf{f} と比較します。コサイン類似度は次のとおりです。

sim(f,A)=f⋅A∥f∥∥A∥.\text{sim}(\mathbf{f}, \mathbf{A}) = \frac{\mathbf{f} \cdot \mathbf{A}}{\|\mathbf{f}\|\|\mathbf{A}\|}.

二つの類似度を比べて疑似ラベル yˉ\bar{y} を決めます。

yˉ={1,if sim(f,Al)≥sim(f,As),0,otherwise.\bar{y} = \begin{cases} 1, & \text{if } \text{sim}(\mathbf{f}, \mathbf{A}_l) \ge \text{sim}(\mathbf{f}, \mathbf{A}_s), \\ 0, & \text{otherwise}. \end{cases}

11 は live、00 は spoof です。Figure 3 にはスコア式の予測を修正できた二例がありますが、二例だけで疑似ラベル全体の正確さは分かりません。

こうして得たラベルで liveness loss を計算し、テスト時にモデルを更新します。

Ll=−∑[yˉlog⁡(CF(f))+(1−yˉ)log⁡(1−CF(f))].L_{l} = -\sum \Big[\bar{y}\log(CF(\mathbf{f})) + (1-\bar{y})\log\big(1 - CF(\mathbf{f})\big)\Big].

Anti-Forgetting Feature Learning

疑似ラベルだけでは足りません。届いたバッチが live だけ、あるいは spoof だけの場合もありますし、未知の攻撃が混ざる場合もあります。そのバッチだけで更新すれば、新しいサンプルを覚える代わりに以前の知識を忘れるおそれがあります。

著者は分類スコアと活性化マップの類似度差に閾値を設け、信頼できる特徴だけを Memory Bank(MB)に残します。特徴 f\mathbf{f} の疑似ラベルを yˉ\bar{y} とすると、選別条件は次のようになります。

γ={1,if (CF(f)>α ∧ msim≥β)  or  (CF(f)<1−α ∧ msim≤−β),0,otherwise,\gamma = \begin{cases} 1, & \text{if } (CF(\mathbf{f}) > \alpha \,\wedge\, m_{\text{sim}} \ge \beta)\;\text{or}\;(CF(\mathbf{f}) < 1-\alpha \,\wedge\, m_{\text{sim}} \le -\beta), \\ 0, & \text{otherwise}, \end{cases}

ここで α=0.8\alpha=0.8、β=0.2\beta=0.2、msim=sim(f,Al)−sim(f,As)m_{\text{sim}}=\text{sim}(\mathbf{f},\mathbf{A}_l)-\text{sim}(\mathbf{f},\mathbf{A}_s) です。γ=1\gamma=1 の特徴と疑似ラベルをクラス別の MB に書き込み、FIFO で更新します。MB に残るのは以前の対象バッチの情報で、ソースの画像ではありません。

次の mini-batch でもその情報を使い、Anti-Forgetting Liveness Loss LaflL_{afl} を計算します。

Lafl=−∑[y^log⁡(CF(f^))+(1−y^)log⁡(1−CF(f^))].L_{afl} = -\sum \Big[\hat{y}\log\big(CF(\hat{\mathbf{f}})\big) + (1-\hat{y})\log\big(1 - CF(\hat{\mathbf{f}})\big)\Big].

新しいバッチだけに引っ張られにくくする狙いですが、確信度の高い誤った疑似ラベルが保存される可能性は残ります。

Asymmetric Prototype Contrastive Learning

攻撃が増え続けるなら、メモリバンクだけであらゆる変形を記録することもできません。

そこで、live と spoof を特徴空間で離しながら、spoof 同士の役立つ局所的な共通点も残します。

  • 局所的な spoof プロトタイプ:新しい攻撃の spoof 特徴 fsa\mathbf{f}_s^a に対し、MB に保存した spoof 特徴からユークリッド距離が最も近い KK 個を選び、平均して正例のプロトタイプにします。負例には MB の すべての live 特徴を使います。
  • 全域の live プロトタイプ:live anchor には MB の live 特徴をすべて平均したプロトタイプを正例として使います。負例は spoof 全体ではなく、その live anchor に最も近い KK 個の spoof 特徴です。

このような非対称な組み方は、異なる攻撃を一律に同じ塊へ押し込まないための設計です。

疑似ラベルと防忘機構を加えても未知攻撃の判別には難しさが残ります。著者は正例・負例を使い、Asymmetric Prototype Contrastive Loss LapcL_{apc} を定義します。

Lapc=−log⁡exp⁡(sim(fsa,  f^sp))∑f^j∈{f^sp}∪Nsexp⁡(sim(fsa,  f^j))−log⁡exp⁡(sim(fla,  f^lp))∑f^i∈{f^lp}∪Nlexp⁡(sim(fla,  f^i)).L_{apc} = -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{s}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{j}\in \{\hat{\mathbf{f}}_{s}^{p}\}\cup \mathbf{N}_s}\exp\bigl(\text{sim}(\mathbf{f}_{s}^{a},\;\hat{\mathbf{f}}_{j})\bigr)} -\log \frac{\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{l}^{p})\bigr)} {\sum_{\hat{\mathbf{f}}_{i}\in \{\hat{\mathbf{f}}_{l}^{p}\}\cup \mathbf{N}_l}\exp\bigl(\text{sim}(\mathbf{f}_{l}^{a},\;\hat{\mathbf{f}}_{i})\bigr)}.

Ns\mathbf{N}_s と Nl\mathbf{N}_l は、それぞれ spoof anchor と live anchor の負例集合です。二つの分母には、対応する正例と負例の両方が入ります。

こうして live と spoof を引き離しながら、spoof の種類による違いを消しすぎないようにします。ただし、未知攻撃への適応力は実験で確かめる必要があります。

総損失

最後に三つの損失をまとめます。

LT=Ll+λ1Lafl+λ2Lapc,L_T = L_l + \lambda_1 L_{afl} + \lambda_2 L_{apc},

実験では λ1=0.5\lambda_1=0.5、λ2=1.5\lambda_2=1.5 です。

疑似ラベルによる学習、防忘のための MB、プロトタイプによる対比を合わせ、モデルは対象バッチを判定する直前に自分を調整します。論文は指定されたクロスドメイン・未知攻撃プロトコルで評価しております。

実験結果の考察

他の手法との比較

著者は 3A-TTA を、適応しないモデル、Tent、ソースデータを使わない OAP と比較しました。表中の Time は対象データセットごとの総実行時間です。

  • Tent は表 4 の四つのプロトコルすべてで、平均 HTER が「No adaptation」より高くなりました。ただし、表 5 の未知攻撃実験では、Tent が未適応モデルより良い HTER を出した条件もあります。
  • OAP は対象ドメインによって改善と悪化が混在し、平均値の改善は限定的です。
  • 3A-TTA は四つのプロトコルすべてで平均 HTER が最も低くなりました。一方、[I,C,M]→[O,D,H] の平均 AUC は 82.24% で、未適応モデルの 82.54% をわずかに下回ります。

論文本文では、OAP に対して平均 HTER が 12.54% 改善し、AUC が 2.11% 上昇したと述べます。ただし表 4 の四つの平均値から直接計算すると、HTER の相対的な低下は約 12.68%、AUC の上昇は約 1.80 ポイントです。表に印刷された OAP の一行にも、個々の値の算術平均と合わない数値があります。結果を比較するときは、どの値を基準にしたか確認する必要があります。

3A-TTA の総実行時間は比較手法より長く、精度の表だけで実運用の費用や応答時間まで判断することはできません。

アブレーション実験

表 3 では、疑似ラベル、防忘、非対称プロトタイプ対比を順に調べています。

  • 疑似ラベルの作り方:スコアに基づく M1 とクラスプロトタイプに基づく M2 は、Activation-based の M3 より、表の二つの評価方向で HTER と AUC がともに劣ります。図 3 はスコア式の疑似ラベルを修正した二例を示します。
  • Anti-Forgetting Feature Learning:LlL_l だけを用いる M3 から LaflL_{afl} を加えた M4 では、二方向とも HTER は下がりますが、AUC はわずかに下がります。さらに信頼できる特徴を選ぶ M5 では、二方向とも M4 より HTER と AUC が良くなります。ここで分かるのはこの評価設定での効果であり、各バッチで忘却が必ず防げるという保証ではありません。
  • 一般の対比学習と非対称プロトタイプ対比:通常の教師あり対比損失 LcL_c を使う M6 は、損失を加えない M5 より二方向とも HTER と AUC が悪くなります。著者は、異なる spoof 攻撃を一様にまとめると、攻撃ごとの差が失われかねないと考えています。一方、LapcL_{apc} を使う M7 は、表の二方向で HTER と AUC がともに最良です。

可視化分析

最後に、著者は特徴と活性化マップを可視化し、適応前後を比べます。

  1. t-SNE による特徴分布:図 (a) の [O,M,I]→[C,D,H] では、未適応モデルの live と spoof が重なります。図 (b) の 3A-TTA では、この投影上で両者がより明瞭に分かれます。
  2. Activation Maps:live の例では、未適応の ① より、適応後の ② の活性が顔の領域へ集中しています。spoof の例では、未適応の ③ に比べ、適応後の ④ で live クラスの活性が弱くなります。これは図に示された例についての観察です。

結論

Face Anti-Spoofing は、もう単純な分類課題だけではありません。

生成される攻撃が変化し続け、データの来る場所も多様になるなら、FAS モデルには次の力が要ります。

見たことのない場面で、自分の判断の根拠を修正する力。

3A-TTA は、その「自分で修正する」試みの一つです。

この論文の TTA-FAS ベンチマークでは、いくつかの従来手法より良い結果を出しました。推論時適応が FAS の新しい対応手段になり得ることも示しています。

従来のモデルは、訓練が終われば推論へ進むだけでした。TTA モデルには、推論の瞬間にも学ぶ余地があります。そう考えると、一つの問いが残ります。

現場が戦場なら、モデルはそこでどう反撃を学ぶのか?

未来の AI は、答案を提出するだけでなく、提出した後に書き直すことも覚えるのかもしれません。