{"notes":[{"id":"face-antispoofing/s-adapter","category":"face-antispoofing","legacyPath":"face-antispoofing/2309-s-adapter","legacySlug":"2309-s-adapter","legacyPaths":[],"title":"S-Adapter","subtitle":"真實筆記本","author":"Z. Yuan","paperDate":"2023-09-07","publishedOn":"2025-04-27","paperTitle":"S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens","paperUrl":"https://arxiv.org/abs/2309.04038","bibliography":{"title":"S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens","authors":["Rizhao Cai","Zitong Yu","Chenqi Kong","Haoliang Li","Changsheng Chen","Yongjian Hu","Alex Kot"],"url":"https://arxiv.org/abs/2309.04038","pdfUrl":"https://arxiv.org/pdf/2309.04038","codeUrl":null,"preprint":{"id":"2309.04038","submittedOn":"2023-09-07","url":"https://arxiv.org/abs/2309.04038"},"publication":{"venue":"IEEE Transactions on Information Forensics and Security","shortVenue":"IEEE TIFS","year":2024,"kind":"journal","url":"https://doi.org/10.1109/tifs.2024.3420699"},"citation":"@misc{faceantispoofingsadapter2023,\n  title = {{S-Adapter: Generalizing Vision Transformer for Face Anti-Spoofing with Statistical Tokens}},\n  author = {Rizhao Cai and Zitong Yu and Chenqi Kong and Haoliang Li and Changsheng Chen and Yongjian Hu and Alex Kot},\n  year = {2023},\n  eprint = {2309.04038},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2309.04038}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/s-adapter.1450240a15ac.bib"},"thumbnail":{"src":"/content/papers/assets/3fbf7b73957abdd3112f50967323d350ba6ca1ca4293bdb643a76aa525348539.jpg","width":1224,"height":644},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/s-adapter.f4bb997fa41c.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":2},{"id":"token-map-extraction","text":"Token Map Extraction","depth":3},{"id":"token-histogram-extraction","text":"Token Histogram Extraction","depth":3},{"id":"gram-matrix","text":"Gram Matrix","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"intra-domain-測試","text":"Intra-Domain 測試","depth":3},{"id":"cross-domain-測試","text":"Cross-Domain 測試","depth":3},{"id":"limited-source-domains-測試","text":"Limited Source Domains 測試","depth":3},{"id":"消融實驗","text":"消融實驗","depth":2},{"id":"s-adapter-組件的效益","text":"S-Adapter 組件的效益","depth":3},{"id":"histogram-對-vanilla-adapter-的增強效果","text":"Histogram 對 Vanilla Adapter 的增強效果","depth":3},{"id":"tsr-模組與-λ-超參數","text":"TSR 模組與 λ 超參數","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/divt","relation":"comparison","topic":"跨域不變的視覺 Transformer"}]},{"id":"face-antispoofing/divt","category":"face-antispoofing","legacyPath":"face-antispoofing/2301-divt","legacySlug":"2301-divt","legacyPaths":[],"title":"DiVT","subtitle":"全明星錦標賽","author":"Z. Yuan","paperDate":"2023","publishedOn":"2025-04-23","paperTitle":"Domain Invariant Vision Transformer Learning for Face Anti-Spoofing","paperUrl":"https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html","bibliography":{"title":"Domain Invariant Vision Transformer Learning for Face Anti-Spoofing","authors":["Chen-Hao Liao","Wen-Cheng Chen","Hsuan-Tung Liu","Yi-Ren Yeh","Min-Chun Hu","Chu-Song Chen"],"url":"https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html","pdfUrl":"https://openaccess.thecvf.com/content/WACV2023/papers/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.pdf","codeUrl":null,"preprint":null,"publication":{"venue":"WACV","year":2023,"kind":"conference","url":"https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html"},"citation":"@inproceedings{faceantispoofingdivt2023,\n  title = {{Domain Invariant Vision Transformer Learning for Face Anti-Spoofing}},\n  author = {Chen-Hao Liao and Wen-Cheng Chen and Hsuan-Tung Liu and Yi-Ren Yeh and Min-Chun Hu and Chu-Song Chen},\n  year = {2023},\n  booktitle = {WACV},\n  url = {https://openaccess.thecvf.com/content/WACV2023/html/Liao_Domain_Invariant_Vision_Transformer_Learning_for_Face_Anti-Spoofing_WACV_2023_paper.html}\n}\n","citationPath":"/content/papers/citations/face-antispoofing/divt.115ac8503061.bib"},"thumbnail":{"src":"/content/papers/assets/e9a1d49d2cdac39c893a66f00d487c033c228d8ac58af169238db7f9770269af.jpg","width":1224,"height":624},"locale":"zh-hant","path":"/content/papers/zh-hant/face-antispoofing/divt.276d42377c17.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"實作細節","text":"實作細節","depth":3},{"id":"leave-one-out-測試結果","text":"Leave-One-Out 測試結果","depth":3},{"id":"小樣本設定","text":"小樣本設定","depth":3},{"id":"消融實驗","text":"消融實驗","depth":2},{"id":"不同架構的對照結果","text":"不同架構的對照結果","depth":3},{"id":"loss-組合的效益","text":"Loss 組合的效益","depth":3},{"id":"改變分類邏輯會更好嗎","text":"改變分類邏輯會更好嗎？","depth":3},{"id":"如果加上-adversarial-loss","text":"如果加上 adversarial loss？","depth":3},{"id":"計算資源比較","text":"計算資源比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-antispoofing/s-adapter","relation":"comparison","topic":"跨域不變的視覺 Transformer"}]}],"text":"Adapter 是一種輕量級的模型調整方法，通常在預訓練的 Transformer 模型上加上一些額外的參數，這些參數可以在特定任務上進行微調，而不需要重新訓練整個模型。\n\n如果 Transformer 是近年的視覺主角，那麼 adapter 就是它穿插於任務間的角色調整器。\n\n\n> [!TIP]\n> \n> 如果你不熟悉這個概念，可以參考我們之前論文筆記：\n> \n> - [**[19.02] Adapter: 參數節省九成六**](/blog/papers/model-tuning/adapter)\n\n\n## 定義問題\n\n我們一路看下來，大概也知道 FAS 的模型有多難搞。\n\n不只是要判斷「這張臉是真的還是假的」，還得判斷得夠穩定。至少不能因為換了個燈光、換了台鏡頭、換了種攻擊方式，就徑直倒在地上。\n\n模型故障的原因，通常不是因為模型不夠強，而是因為每次訓練時，它習慣的那個世界太小了。就好比說你在室內拍了幾千張真臉照片，結果部署之後，使用者在大太陽底下拿著手機刷臉，模型瞬間炸開。這時候不管你再怎麼 fine-tune、再怎麼疊模型，**domain shift** 這件事還是會讓泛化能力破功。\n\n於是我們看見了各種解法：有人用對抗學習做風格轉換，有人用 meta-learning 模擬未知場景，有人試著把真臉壓得更近，把假臉拉得更開。但這些方法的泛化能力，始終差一點火候，尤其是在 **zero-shot** 測試上，問題特別明顯。\n\n後來出現了 ViT，大家都很期待。\n\n畢竟，Transformer 的注意力機制能處理遠距離資訊、架構又靈活，似乎天生就適合做這種跨環境變動強烈的任務。\n\n但問題又來了。\n\n雖然我們可以拿 ImageNet 的 ViT 預訓練模型來微調，也的確比 CNN 效果好一點，但也就真的只是「一點」。而且，有時候在少樣本（few-shot）甚至零樣本（zero-shot）的條件下，ViT 的泛化表現反而不如一些 CNN-based 的 baseline。\n\n這背後可能是個更根本的問題：\n\n- **Transformer 看得夠遠，但它看得夠細嗎？**\n- **它能不能辨識那些肉眼難辨的小紋理、局部瑕疵、與攻擊介質留下的破綻？**\n\n還是說，我們其實太快就假設它能理解這些「風格以外的東西」？\n\n## 解決問題\n\n讓 ViT 去做 FAS，第一步通常是：拿一個 ImageNet 預訓練模型來微調。\n\n若要減少 FAS 微調時需要更新的預訓練參數，可以用 Adapter 的方式插入小模組，凍結 ViT 原有權重，訓練新增的任務相關參數。\n\n這種方式叫 Efficient Parameter Transfer Learning（EPTL），例如 Adapter、LoRA、Prompt-tuning 都屬於這個範疇。\n\n在 ViT 裡，我們可以把每一個 block 簡化寫成這樣的推論過程（略去 LayerNorm 和跳接）：\n\n$$\nY = W_i^{\\text{MLP}}(W_i^{\\text{MSA}}(X))\n$$\n\n這邊的 $X$ 和 $Y$ 是 transformer block 的輸入輸出 token，MSA 表示多頭自注意力層，MLP 是多層感知機。如果我們使用 Adapter，在每個 block 加上小模組，結構會變成：\n\n$$\nY = A_i^{\\text{MLP}}(W_i^{\\text{MLP}}(A_i^{\\text{MSA}}(W_i^{\\text{MSA}}(X))))\n$$\n\n這裡的 $A_i^{\\text{MSA}}$ 和 $A_i^{\\text{MLP}}$ 就是插入的 Adapter。原本的 ViT 權重 $W$ 凍結，更新 Adapter 等新增參數，達成「減少需微調參數、小改動」的目標。\n\n但是這樣的 Adapter 架構，在自然語言任務裡表現不錯，在 FAS 上卻顯得力不從心。\n\n原因也不難理解：一般的 Adapter 用的是 linear 層，**沒有空間結構的 inductive bias**；\n\n但 FAS 任務正好相反，它非常吃「**局部細節**」，像是畫質破綻、邊緣模糊、重建噪點這些都不是 global token 看得出來的。\n\n## 模型架構\n\n\n\n![model_arch](/content/papers/assets/3fbf7b73957abdd3112f50967323d350ba6ca1ca4293bdb643a76aa525348539.jpg)\n\n\n\n為了解決 Transformer 無法有效捕捉局部紋理特徵的問題，作者提出了 **S-Adapter**。\n\n靈感來自傳統的紋理分析方法 Local Binary Pattern（LBP），如上圖 (a) 所示。\n\nLBP 的流程並不是直接拿畫素值來分類，而是先提取局部紋理，然後統計直方圖。這種統計特徵對於光照變化、材質差異具有較高的穩健性，在早期的人臉偵測、活體辨識任務中被廣泛使用。\n\nS-Adapter 的設計，就是把這個邏輯重新翻譯進 Transformer 世界：\n\n> **讓 ViT 的 token 也能學會統計，從局部紋理萃取空間分佈特徵。**\n\n整體結構如下：\n\n\n\n![model_arch](/content/papers/assets/6e38ec11a0b892155afabd58280413cbdd9c2cb6b7e0240ee1b75e19c5198033.jpg)\n\n\n\n整個模組分為兩個階段：**Token Map Extraction** 與 **Token Histogram Extraction**。\n\n### Token Map Extraction\n\n在 FAS 場景中，判斷攻擊與否的關鍵，往往藏在局部細節上。\n\n這些細節可能是重新拍攝時產生的模糊、邊緣破綻、細小紋理異常，而這些特徵，很難靠 Transformer 原生的全域注意力捕捉到。\n\n然而，ViT 的 patch token 以一維序列表示，原本的二維鄰接關係未直接提供給一般線性 Adapter。\n\n因此，**第一步**，作者設計了一個過程來還原 token 的空間性質：\n\n- 給定輸入 token $X \\in \\mathbb{R}^{N_P \\times C}$，其中 $N_P$ 是 patch token 數量（class token 忽略），$C$ 是嵌入維度；圖中先將通道從 768 降至 8；\n- 重塑（reshape）成 $X_R \\in \\mathbb{R}^{H \\times W \\times C}$，使得 $H \\times W = N_P$；\n- 再將維度置換（permute）成 $X_M \\in \\mathbb{R}^{C \\times H \\times W}$，類似一張 $C$-通道的影像。\n\n接下來，透過 2D 卷積層 $W_\\text{Conv}$，進行局部特徵提取：\n\n$$\nZ = W_{\\text{Conv}}(X_M)\n$$\n\n這一步重新引入了空間歸納偏置，補足 Transformer 缺少局部建模能力的弱點。\n\n為了讓模型更加敏感於局部變化，作者引入了中心差分（Center Difference, CD）操作：\n\n- 對每個 token $Z_n$，計算其與周圍鄰居 $P_n$ 的差分；\n- 以卷積核權重 $\\omega(p)$ 加權總和：\n\n$$\nZ^g_n = \\sum_{p \\in P_n} \\omega(p) \\cdot (Z_p - Z_n)\n$$\n\n這樣得到的 $Z^g$ 捕捉到了細緻的局部梯度特徵，特別是針對那些微妙的紋理改變。\n\n最終，原始特徵 $Z$ 與梯度特徵 $Z^g$ 融合，形成新的 token map：\n\n$$\nZ^* = (1 - \\theta) Z + \\theta Z^g\n$$\n\n其中 $\\theta$ 控制兩者融合的比例。這樣即使是在 ViT 中，也能導入類似 CNN 的局部特徵敏感性。\n\n### Token Histogram Extraction\n\n即使加了局部特徵，domain shift（跨裝置、跨光照）仍然會讓模型表現不穩。\n\n原因在於：局部畫素值本身，仍然容易受到環境因素干擾。\n\n因此，第二步，作者決定進一步將這些局部特徵統計化，對每個小區域計算 differentiable histogram。\n\n直觀來說就是：\n\n- 對每個 patch token 周圍的局部視窗做 soft binning；\n- 取得一個統計向量，而不是單一畫素值；\n- 讓模型學到局部區域的整體結構分佈，而非單點數值，提升跨域穩定性。\n\n計算過程如下：\n\n首先，定義 bin center $\\mu$ 與 bin width $\\gamma$，那麼 soft-binned histogram 為：\n\n$$\nZ_{\\text{Hist}}^{c,h,w}\n= \\frac{1}{JK} \\sum_{j=1}^{J} \\sum_{k=1}^{K} \\exp \\Bigl( -\\gamma_c^2 (Z^*_{c,h+j,w+k} - \\mu_c)^2 \\Bigr)\n$$\n\n其中：\n\n- $J = K = 3$，即 3x3 卷積視窗；\n- stride = 1，padding = 1，確保尺寸不變。\n\n這裡的 soft binning，讓靠近 bin center 的值貢獻大，離得遠的貢獻小，實現可微分。\n\n進一步拆解為：\n\n$$\nZ_{\\text{Hist}}^{c,h,w}\n= \\frac{1}{JK} \\sum_{j=1}^{J} \\sum_{k=1}^{K} \\exp (-U_c^2)\n$$\n\n$$\nU_c = \\gamma_c (Z^*_{c,h+j,w+k} - \\mu_c)\n$$\n\n其中 $U_c$ 可以用兩層 pixel-wise 1x1 卷積來實現：\n\n- 第一層 $W_{\\text{Conv1}}$：權重固定為 1，bias 可學（對應 $-\\mu$）；\n- 第二層 $W_{\\text{Conv2}}$：bias 固定為 0，權重可學（對應 $\\gamma$）。\n\n如此設計，可以讓 bin center 與 bin width 都通過訓練自動調整。\n\n最後，histogram 結果 $Z_\\text{Hist}$ 被 reshape 成 $N_P \\times 8$ 的 token，並投影回 $N_P \\times 768$，與原始 token 對齊融合。\n\n### Gram Matrix\n\n在深度學習的語境中，我們可以把影像特徵粗略區分成兩類：\n\n- **Content**：跟任務有關的本質資訊，像是紋理破綻、模糊邊緣、重組痕跡等；\n- **Style**：跟影像拍攝環境有關的風格特徵，例如光照、飽和度、色彩偏移、雜訊分佈等。\n\n過去也有很多方法試圖用 adversarial learning 來做 feature disentanglement，把這兩種資訊拆開。但那類方法常常不穩定、難以收斂，尤其在 cross-domain 任務上，收斂速度與穩定性都是挑戰。\n\n這篇論文採取了一種更直觀的做法：**既然我們知道 style 可以用 Gram matrix 表示，那就直接對 Gram matrix 做正則化。**\n\n首先，作者定義了 token map $Z \\in \\mathbb{R}^{C \\times H \\times W}$ 的 Gram matrix，如下：\n\n$$\nG(Z)_{k,k'} = \\frac{1}{CHW} \\sum_{h=1}^H \\sum_{w=1}^W Z_{k,h,w} \\cdot Z_{k',h,w}\n$$\n\n這裡 $Z_{k,h,w}$ 是第 $k$ 個 channel、在空間位置 $(h,w)$ 的值；而 $G(Z)$ 計算通道間未中心化的內積，作為這張圖「風格」的表徵，並非協方差矩陣。\n\n在作者的設計中，不是要求所有影像風格一致，而是只針對 **bonafide（真實）樣本之間的風格一致性**做正則化。\n\n這樣的設計有兩個好處：\n\n1. 不會干涉攻擊樣本的風格表徵，避免模糊正負樣本的界線；\n2. 符合作者的建模假設：**不同來源域的 bonafide 風格應盡量接近，而攻擊樣態可以不同。**\n\n給定來自兩個 domain 的 bonafide token maps，分別為 $Z_{D1}$ 與 $Z_{D2}$，風格正則化損失定義為：\n\n$$\n\\mathcal{L}_{\\text{TSR}} = \\left\\| G(Z_{D1}) - G(Z_{D2}) \\right\\|_F^2\n$$\n\n這項損失促使兩個來源域的 bonafide 樣本具有較接近的 Gram matrix；是否因此更專注在內容特徵上，還須由實驗檢驗。\n\n下圖是這個設計邏輯：\n\n\n\n![gram_matrix](/content/papers/assets/26b64ea0d5f4bf7e6f27bb805dc5f6c7f8e4844b428772ad637f1571977669eb.jpg)\n\n\n\n將不同 domain 的 bonafide 樣本對齊其風格，但不對 spoof 攻擊樣本做額外約束，保留其辨識性。\n\n除了 TSR，模型最終還是要能分辨真與假，因此作者使用了常見的 BCE：\n\n$$\n\\mathcal{L}_{\\text{BCE}} = - \\left[ y \\cdot \\log(\\hat{y}) + (1 - y) \\cdot \\log(1 - \\hat{y}) \\right]\n$$\n\n在多個 domain 的情況下，會將所有 bonafide domain 組合進行平均：\n\n$$\n\\mathcal{L}_{\\text{TSR}}^{\\text{avg}} = \\frac{1}{N} \\sum_{(D_i, D_j)} \\left\\| G(Z_{D_i}) - G(Z_{D_j}) \\right\\|_F^2\n$$\n\n最後總損失：\n\n$$\n\\mathcal{L}_{\\text{total}} = \\mathcal{L}_{\\text{BCE}} + \\lambda \\cdot \\mathcal{L}_{\\text{TSR}}^{\\text{avg}}\n$$\n\n其中 $\\lambda$ 是一個超參數，控制風格正則化對整體訓練的影響程度。\n\n## 討論\n\n這一節，我們來看看 S-Adapter 在各種實驗設定下的表現。\n\n作者進行了四種不同類型的評估：\n\n- Intra-Domain 測試（單資料集內訓練測試）\n- Cross-Domain 測試（跨資料集）\n- Few-Shot Cross-Domain 測試（少量目標資料）\n- Unseen Attack 測試（未見過攻擊類型）\n\n搭配使用的資料集包括 CASIA-FASD、Replay Attack、MSU MFSD、OULU-NPU 和 SiW-M。\n評估指標則涵蓋 HTER、ACER、EER、AUC，以及在 FPR = 1% 時的 TPR。\n\n### Intra-Domain 測試\n\n作者在 OULU-NPU 的四個標準協定上，對比現有方法的表現，如下表：\n\n\n\n![intra-domain](/content/papers/assets/708410934ebedeb89ad41d84bc4e63e870cb16168e449e9875004f857bbf7015.jpg)\n\n\n\n從表可以看到，在 ACER 這個指標上，S-Adapter-TSR 在 P1、P3、P4 取得表中最低值；P2 的 0.8% 則高於 EPCR 的 0.6%。這顯示方法在多數單資料集協定下表現良好，但表格本身沒有單獨隔離統計特徵與局部感知的作用。\n\n泛化能力還需要跨域評估。\n\n### Cross-Domain 測試\n\nCross-Domain 測試採用的是經典的 MICO 協定（CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU 四個資料集互留一測）。\n\n結果如下表：\n\n\n\n![cross-domain](/content/papers/assets/9e957509e9569cc6f366aa2b05a528605c993921345dce6de95c2865cf8ad1e1.jpg)\n\n\n\n可以看到，無論是以 HTER（半總錯誤率）還是 AUC（ROC 曲線下的面積）來看，**S-Adapter 都在四種 leave-one-out 測試中全面勝過 ViT† baseline**，也壓過多個近年 SOTA 方法，如 SSAN-R、MettaPattern 等。\n\n這再次呼應了前面設計的核心精神：**不只是微調 ViT，而是針對 FAS 任務特性，增強了局部辨識與風格抗干擾能力。**\n\n### Limited Source Domains 測試\n\n在現實中，蒐集跨域資料集不是件容易的事。\n\n因此，作者進一步測試在「只用兩個來源資料集」（例如 MSU + Replay）訓練時，模型是否還能維持跨域表現。\n\n結果列在下表：\n\n\n\n![limited-source](/content/papers/assets/9d1b8716dbd320a4bd97b424c2803106374fafb9dc64ae45f9c27def6005003a.jpg)\n\n\n\n即使只用兩個來源，S-Adapter-TSR 在 M&I→C 取得最低 HTER（17.93%）與最高 AUC（89.56%）；M&I→O 的 HTER 為 19.76%、AUC 為 86.87%，略遜於 AMEL 的 19.68% 與 87.01%。因此這張表支持其在前一組有限來源設定下的優勢。\n\n## 消融實驗\n\n最後，作者透過消融實驗，具體檢驗 S-Adapter 和 TSR 各自的貢獻。\n\n### S-Adapter 組件的效益\n\n首先，作者檢驗了不同版本的 S-Adapter：\n\n- **S-Adapter**（完整版本）\n- **S-Adapter w/o hist**（移除直方圖層）\n- **S-Adapter w/o hist(θ=0)**（同時移除直方圖與梯度提取）\n\n實驗結果如下圖：\n\n\n\n![ablation-sadapter](/content/papers/assets/5e6e9d8d84c78e825b33b02c9a1ab851dab92f28e7b609e83db989b3cd95873c.jpg)\n\n\n\n從實驗結果可以看到：\n\n- 完整版 S-Adapter 在四個跨域場景中 HTER 表現最好；\n- 去掉直方圖後（w/o hist），性能明顯下滑；\n- 連梯度也去掉後（θ=0），表現最差。\n\n這證明了**統計特徵（histogram）與局部梯度確實對跨域辨識有實質貢獻。**\n\n不過在 `C&I&M to O` 這組特殊情境中，若比較兩個都移除直方圖的版本，加入梯度反而讓 HTER 微幅上升。\n\n作者推測是因為 OULU-NPU 資料集解析度較高，I、C、M 來源解析度較低，導致梯度特徵跨解析度不一致。而直方圖統計層則能平滑這種落差，因此最終仍維持穩定表現。\n\n### Histogram 對 Vanilla Adapter 的增強效果\n\n為了驗證 histogram 是否具有普適性，作者也在標準版 vanilla adapter 上，外掛加了 CDC 層與 Histogram 層。\n\n結果如下：\n\n\n\n![ablation-cdc](/content/papers/assets/2c0d44fee3307e97f9f814566135288ce15624f25253d24df2797e6e74786aa4.jpg)\n\n\n\n可以看到：\n\n- 加了 CDC 後 HTER 有下降；（HTER 愈低愈好）\n- 再加上 Histogram 後，下降幅度更明顯。\n\n這顯示在圖中的四組跨域測試裡，直方圖層加在標準 Adapter 後也能進一步降低 HTER，效益不只出現在完整 S-Adapter 中。\n\n### TSR 模組與 λ 超參數\n\n接著，來看 Token Style Regularization（TSR）的消融。\n\n作者設定不同的 λ 值，從 0 到 1，觀察對 HTER 的影響，如下圖：\n\n\n\n![ablation-tsr](/content/papers/assets/124266dfe14e95dc7c431482432c919fef2e0103014e4c2827148c5b574dbb6f.jpg)\n\n\n\n可以發現：\n\n- 四條曲線的最佳 λ 並不相同；例如 C&I&O→M 在 λ=0.05 時，HTER 反而高於 λ=0；\n- λ 選太大時可能使 HTER 回升，例如 C&M&I→O 在 λ=1.0 時明顯高於中間設定；\n- 作者一般建議從較小的 λ（例如 0.1）開始，但各資料組合仍需分別檢驗。\n\n## 結論\n\n這篇論文沒有跟風追求更深的 ViT backbone，也沒有試圖用複雜對抗學習去扭轉 domain shift，而是選擇了一條相對樸素但有效的路線：\n\n> **重新理解局部紋理與統計特徵，讓 Vision Transformer 學會感知差異。**\n\nS-Adapter 的每個設計都直指 FAS 任務中最根本的兩個問題：\n\n- 局部細節的辨識\n- 跨環境風格差異的抗干擾\n\n真正穩定的泛化能力，不來自堆疊更複雜的網路，而是來自於對任務本質的理解與提煉。透過完整的跨域測試，作者也證明了自己的選擇不是偶然奏效，而是具有廣泛適用性的設計。\n","imageSizes":{"/content/papers/assets/3fbf7b73957abdd3112f50967323d350ba6ca1ca4293bdb643a76aa525348539.jpg":{"width":1224,"height":644},"/content/papers/assets/6e38ec11a0b892155afabd58280413cbdd9c2cb6b7e0240ee1b75e19c5198033.jpg":{"width":1080,"height":920},"/content/papers/assets/26b64ea0d5f4bf7e6f27bb805dc5f6c7f8e4844b428772ad637f1571977669eb.jpg":{"width":1152,"height":688},"/content/papers/assets/708410934ebedeb89ad41d84bc4e63e870cb16168e449e9875004f857bbf7015.jpg":{"width":752,"height":1080},"/content/papers/assets/9e957509e9569cc6f366aa2b05a528605c993921345dce6de95c2865cf8ad1e1.jpg":{"width":1226,"height":434},"/content/papers/assets/9d1b8716dbd320a4bd97b424c2803106374fafb9dc64ae45f9c27def6005003a.jpg":{"width":826,"height":328},"/content/papers/assets/5e6e9d8d84c78e825b33b02c9a1ab851dab92f28e7b609e83db989b3cd95873c.jpg":{"width":816,"height":592},"/content/papers/assets/2c0d44fee3307e97f9f814566135288ce15624f25253d24df2797e6e74786aa4.jpg":{"width":1072,"height":648},"/content/papers/assets/124266dfe14e95dc7c431482432c919fef2e0103014e4c2827148c5b574dbb6f.jpg":{"width":960,"height":728}}}
