論文ノートライブラリに戻る
WACV 2023顔のなりすまし検知論文ノート

DiVT

オールスター選手権

原論文

Domain Invariant Vision Transformer Learning for Face Anti-Spoofing

論文の著者

Chen-Hao Liao · Wen-Cheng Chen · Hsuan-Tung Liu · Yi-Ren Yeh · Min-Chun Hu · Chu-Song Chen

発表先
WACV 2023国際会議
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@inproceedings{faceantispoofingdivt2023,
  title = {{Domain Invariant Vision Transformer Learning for Face Anti-Spoofing}},
  author = {Chen-Hao Liao and Wen-Cheng Chen and Hsuan-Tung Liu and Yi-Ren Yeh and Min-Chun Hu and Chu-Song Chen},
  year = {2023},
  booktitle = {WACV},
  url = {https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html}
}
このページの内容

台湾の主要な大学が著者に名を連ねる論文を見かけることはめったにない。

台大、成大、清華、高師大……ん? それに玉山銀行まで。

問題定義

前の章で Domain Generalization(DG)について多くを話しましたが、この論文はその概念を CNN アーキテクチャから Transformer に拡張する架け橋となります。

新しい時代のアーキテクチャは、先人の意志を引き継ぎ、さらに進化していきます。

現行の DG-FAS ソリューションを振り返ると、大きく 2 つの方向性に整理できます。

1 つ目は、「生体の顔」をお互いに近づけることです。

どのドメインから来たものであれ、生体の顔はある種の内的な「生体的」パターンを共有すべきです。特徴空間の中で、異なる世界からの本物のサンプルは、同じ意味的な塊に集約されます。このアプローチのキーは、異なるシーン間で安定したアンカーを確立することです。

2 つ目は、「攻撃タイプ」を分割することです。

異なる攻撃手法は異なる偽装戦略を持ち、視覚的な特徴も異なります。これらの特徴は学習過程で分離され、モデルが混乱し、誤判断しないようにします。

その結果、特徴空間は次のような形になります:

  • 生体の顔は中心に集まり、整列の中心として機能します。
  • 各種の攻撃画像は境界に散らばり、互いに区別されます。

実際の実装では、これらの手法の多くは依然として CNN アーキテクチャに基づいています。例えば、SSDG は生体側だけの敵対的学習を用いて生体の顔の特徴を安定させ、ANRL はノーマライゼーションの論理を変更してドメインシフトに対抗し、SSAN はスタイルとコンテンツを分離してドメイン間の対照学習を行っています。また、FGHV のような生成的手法もあり、ガウス分布仮定を使って真実の顔に近づけています。

精緻な設計で効果的ではありますが、その背後には複雑な学習メカニズムと高いリソースコストがあります。

これらすべての努力の前提には共通の仮定があります:

モデルは目標ドメインのデータを一切見たことがない。

この条件は厳しいものの、実際のアプリケーションに近いものです。現実の世界では、すべての変数を集め終わるのを待つことはありません。代わりに、これまで一度も見たことのない例外的な状況を突然投げかけ、その場でモデルに答えを出させます。

これこそ、なぜ Transformer に注目が集まっているのかという理由です。

自己注意は全体的な関係を扱う手段であり、著者はこれをドメイン間 FAS に応用します。ただし CNN も層の積み重ね、拡張畳み込み、プーリングによって広い受容野を持てます。構造、データ、学習方法を合わせて比較する必要があります。

しかし、現在 FAS に使用される Transformer の試みはまだ限られており、ViT を直接使用するものや、教師モデルとして使うもので、学生側は CNN に戻るものが多いです。ほとんどの設計は、ドメイン一般化に特化した調整を行っていません。

では、ドメイン間一般化が可能な本物の Transformer を設計するには、どこから始めればよいのでしょうか?

解決策

この論文の核心となる主張は非常にシンプルです:

軽量で十分に賢い Transformer アーキテクチャを使って、「真実」を一つにまとめ、「攻撃」を分けることです。

モデルアーキテクチャ

全体の方法は MobileViT をベースにしています。これは CNN と Transformer を組み合わせたハイブリッドアーキテクチャです。

MobileViT-S は MobileNetV2 型の倒立残差ブロックで局所処理とダウンサンプリングを行い、MobileViT ブロックで畳み込みと全体的な注意を組み合わせます。独立した MobileNetV2 全体を Transformer の前に接続する構造ではありません。パラメータ数と FLOPs で規模と演算量を比較できますが、端末上の遅延は実測が必要です。

ドメイン間一般化の第一歩は、「異なるシーンでの生体の顔」をモデルに共通認識させることです。

仮に、KK個のドメインからなるデータセットD1,D2,…,DKD_1, D_2, \ldots, D_Kがあり、各データセットには生体の顔といくつかの攻撃サンプルが含まれているとします。

著者は、すべての生体の顔を次のように結合します:

DR=⋃k=1KDkrealD_R = \bigcup_{k=1}^K D^\text{real}_k

次に、Transformer バックボーンを使ってこれらのサンプルを特徴空間にマッピングし、一組の埋め込みベクトルを得ます:

ER=π(DR)E_R = \pi(D_R)

著者の方法は、原点[0]d[0]^dを生体の顔の中心として直接使用し、シンプルなℓ1\ell_1ノルム損失を設計して、これらの特徴を原点に向かって引き寄せます:

LDiC=1N∑i=1N1[xi∈DR]⋅∥π(xi)∥1\mathcal{L}_\text{DiC} = \frac{1}{N} \sum_{i=1}^N \mathbb{1}[x_i \in D_R] \cdot \|\pi(x_i)\|_1

Center Loss に似た集中の考え方ですが、クラス中心を動的に学ぶ代わりに生体の中心を原点に固定します。NN は mini-batch 全体のサンプル数で、この項に寄与するのは生体だけです。攻撃は次の多クラス損失で学習するため、既知の訓練攻撃タイプのラベルは必要です。

概念的には次の図のように、異なるドメインの生体の顔が空間の中心に集中します。攻撃サンプルはこの DiC 損失の対象外です。

生体の顔を引き寄せた後、次のステップは攻撃画像を押し離すことです。

各攻撃タイプに対して、異なるドメインからのデータを 1 つのクラスにまとめます:

Dc=⋃k=1KDkc,c∈{1,…,C}D^c = \bigcup_{k=1}^K D^c_k, \quad c \in \{1, \ldots, C\}

その後、分類ヘッドを追加して、入力サンプルをC+1C+1のクラス分類(生体の顔 + 各種攻撃)に分類します。

ここでのクロスエントロピー損失は次の通りです:

LDiA=−1N∑i=1N∑c=0Cy^iclog⁡yic\mathcal{L}_\text{DiA} = -\frac{1}{N} \sum_{i=1}^N \sum_{c=0}^{C} \hat{y}^c_i \log y^c_i

ここでy^ic\hat{y}^c_iは one-hot ラベル(c=0 は生体の顔を示す)、yicy^c_iはモデルが出力する各クラスの softmax 結果です。

この分類器の役割は、攻撃タイプを「識別する」だけでなく、潜在空間内で真偽サンプルの配置をさらに引き裂くことにあります。これにより、攻撃サンプルが互いに離れ、生体の顔と距離を保ちながら、ドメイン間でのデカップリング能力が強化されます。

最終的な損失関数は、両者の加重組み合わせです:

Ltotal=LDiA+λLDiC\mathcal{L}_\text{total} = \mathcal{L}_\text{DiA} + \lambda \mathcal{L}_\text{DiC}

推論段階では、分類ヘッドでの生体の顔に対する予測確率のみが出力として使用され、追加のモジュールは必要ありません。

全体の方法は、敵対的学習を導入することなく、スタイル分割や特徴生成に依存することなく、直感的な 2 つの目標関数と軽量化可能なアーキテクチャを使って、安定した効果的な一般化を実現します。

討論

著者は、4 つの一般的な FAS 公開データセット(CASIA-FASD、MSU-MFSD、Replay-Attack、OULU-NPU)を使用してテストを行いました。

これらのデータセットは、それぞれ異なる撮影装置、攻撃手法、照明条件からのものであり、明確なドメイン差異があり、汎化能力を評価するために代表的なテストシナリオとなります。

本研究は Replay-Attack と OULU-NPU の検証分割を除き、訓練・テストデータを使用し、他の二つのデータセットは全体を使います。Leave-one-domain-out では、最終的に評価する対象ドメインを訓練から除外します。これは本研究の設定であり、すべての DG-FAS に共通する分割規則ではありません。

下表は生体・攻撃の動画数であり、フレーム数や被験者数ではありません。訓練時には動画から無作為にフレームを抽出し、各ステップでソースデータセットの生体・攻撃サンプルを均等に抽出します。

評価指標には 2 つの一般的な指標が使用されました:

  • HTER(Half Total Error Rate):FAR と FRR の平均で、低いほど良い指標です。FAR と FRR の内訳や判定閾値も重要です。
  • AUC(Area Under the Curve):ROC 曲線下面積で、スコアの順位付けによる識別能力を表します。

実装の詳細

動画のフレームは MTCNN で位置合わせと切り抜きを行い、256×256256 \times 256 に揃えました。訓練時には動画ごとにフレームをランダムに一枚選び、生体と攻撃のサンプル数を同じにします。

モデルにはMobileViT-Sバージョンをバックボーンとして使用し、ImageNet-1K の事前学習を利用。オプティマイザーには Adam を使用し、学習率は10−410^{-4}、ウェイト減衰は10−610^{-6}に設定されています。2 つの損失関数のバランス係数 λ は 0.2 に設定されています。

Leave-One-Out テスト結果

上表は、leave-one-out 設定でのパフォーマンスを示しています。この設定では、4 つのデータセットのうち 3 つを訓練データとして使用し、残りの 1 つをテストデータとして使用し、モデルが全く新しいドメインに遭遇する状況をシミュレートします。

ほとんどの手法はフレームベースであり、この論文の手法もその一つです。唯一の例外はNAS-FASで、これは動画信号に基づいており、理論的に追加の時間的手がかりを持っています。

表 2 の当時の比較手法では、DiVT は四つの設定すべてで最小の HTER を示し、二つでは 3 ポイント超の絶対改善がありました。これは指定された評価条件での歴史的な比較であり、すべての未知環境での保証ではありません。

唯一の例外は、AUC 指標の I&C&M to O で、ここで NAS-FAS がわずかに勝りました。しかし、この方法は動画ベースであり、純粋な画像ベースの方法とは異なるレベルの比較です。

小サンプル設定

データを減らした実験では MSU-MFSD と Replay-Attack のみをソースとし、残りの各ドメインで評価します。ここでの「小サンプル」はソースドメイン数と訓練データを減らす意味で、各クラス数例だけの few-shot 設定ではありません。

このような設定は、実際のデプロイ時のデータ制約に近いものです。

著者は SSDG-R と SSAN-R を再訓練しています。M&I → C の DiVT の HTER は 20.11% で SSDG-R の 19.86% より悪い一方、AUC は 86.71% で 86.46% よりわずかに良好です。M&I → O は HTER 23.61%、AUC 85.73% で両方とも良好でした。

消融実験

次の分析では、3 つの問題に焦点を当てています:

  1. 異なる Transformer アーキテクチャのパフォーマンス差はどの程度か?
  2. 設計した 2 つの損失関数はどの程度効果があったのか?
  3. 分類ロジックを変えた場合、結果は良くなるのか、それとも悪くなるのか?

異なるアーキテクチャの比較結果

結果は上表の通りです。上半分は、バイナリクロスエントロピー損失のみを使用した各アーキテクチャのパフォーマンスで、下半分は、設計した損失関数を組み合わせた結果です。

いくつかの重要な違いが見られます:

  • DiVT-V、DiVT-S、DiVT-M はそれぞれ ViT-Base、Swin-T、MobileViT-S を使います。論文の損失を加えた後の平均 HTER は 12.11%、9.12%、7.07% で、DiVT-ResNet の 17.25% より低くなりました。ただし、注意機構だけの因果効果を分離した比較ではありません。
  • DiVT-M の平均 HTER/AUC は 7.07%/97.34% で最良ですが、すべての条件ではありません。O&M&I → C では DiVT-S が上回ります。局所畳み込みと全体的な関係を組み合わせ、後の資源表ではパラメータ数も最少です。
  • ViT-Base はこの三種の Transformer の中で平均性能が最も低くなりました。局所パターンの扱いと 85.8M パラメータに対する訓練データ量は、著者の推測です。
  • ViT-Tiny に変えると平均 HTER は 12.11% から 11.47% に下がり、モデル規模が一因かもしれないという見方を支持します。

MobileViT の成功はもう一つの事実を証明します:畳み込みは無駄ではない、むしろ適切な場所で使うべきだということです。

損失関数の組み合わせ効果

次に著者は、方法内の 2 つの主要な損失関数(DiC 損失と DiA 損失)の組み合わせをテストし、それぞれ単独使用、使用しない、同時使用の効果を比較しました。

観察結果として:

  • DiA(攻撃タイプ分類) が主な寄与を示し、単独で加えると平均 AUC は二値分類の基準より約 3.7 ポイント高くなります。
  • DiC(生体の集中) を DiA に加えると平均 AUC はさらに約 1.3 ポイント上がります。
  • 両者の併用が平均では最良ですが、個々の指標には例外があります。O&C&I → M の HTER は DiA のみの 2.62% が併用の 2.86% より低くなりました。

分類ロジックを変えると良くなるか?

著者は DiC 損失を保ったまま、分類タスクの設計が結果にどう影響するかを調べました。二値分類(生体の顔 vs 攻撃画像)に加えて、以下の設定もテストしています:

  • ドメイン別分類(生体の顔 + 各ドメインの攻撃画像)
  • 攻撃タイプ別分類(生体の顔 + 各種攻撃タイプ)
  • ドメインと攻撃の組み合わせ分類

四条件の平均では攻撃タイプ分類が最良ですが、I&C&M → O の HTER/AUC ではドメイン別分類が上回ります。著者は複合分類がクラスを細かく分けすぎて過学習する可能性を挙げます。

この実験は「生体をまとめ、攻撃を分ける」という設計を支持しますが、優位性は評価するドメインによって異なります。

adversarial loss を追加した場合?

一部の人は、なぜ SSDG や SSAN の adversarial loss を追加しなかったのかと尋ねるかもしれません。

ドメイン敵対的損失を加えると三条件の HTER は悪化しましたが、O&M&I → C では 8.67% から 7.33% に改善しました。論文は有意差検定を示しておらず、以下は著者による推測です:

  • DiVT の特徴空間はすでに十分に安定しており、追加の競争が必要ない
  • Transformer における adversarial learning の最適な実践はまだ成熟していない

計算リソースの比較

表 8 の DiVT-M はパラメータ数が最も少ない 4.94M、FLOPs は 2.00G で、平均 HTER/AUC は表中最良の 7.07%/97.34% です。FLOPs は実際の遅延や消費電力とは異なる指標です。

ViT-Tiny の FLOPs は 1.26G と少ない一方、パラメータ数は 5.52M と多く、この四条件の平均結果も MobileViT を下回りました。ここでは、軽さと空間的なパターンを捉える設計の両方が効いているようです。

結論

このようなドメイン一般化を推進する手法は、もはや「モデルのパフォーマンス」だけでなく、「方法論」の選択問題になっています。

この論文は、敵対的な訓練の複雑な駆け引きには進んでおらず、視覚的な手がかりを強化するために合成データにも頼っていません。逆に、空間を直線的に引き、特徴座標系内でキャラクターを明確に配置するという、ほぼ幾何学的な抽象処理を選択しました。

技術的なレベルを超えて、この設計思想は現実のデプロイメントに対する感度も反映しています:

多モーダルを積み重ねるのではなく、重いアーキテクチャに頼るのでもなく。ちょうど十分で、リズムを保つことのできるその臨界点を見つけること。

今後の課題は、ドメインと攻撃の交差次元がますます複雑になるでしょう。このようなシンプルで明快な表現戦略が、問題空間を再整理するための出発点となるかもしれません。