{"notes":[{"id":"face-recognition/arcface","category":"face-recognition","legacyPath":"face-recognition/1801-arcface","legacySlug":"1801-arcface","legacyPaths":[],"title":"ArcFace","subtitle":"反餘弦損失","author":"Z. Yuan","paperDate":"2018-01-23","publishedOn":"2024-08-31","paperTitle":"ArcFace: Additive Angular Margin Loss for Deep Face Recognition","paperUrl":"https://arxiv.org/abs/1801.07698","bibliography":{"title":"ArcFace: Additive Angular Margin Loss for Deep Face Recognition","authors":["Jiankang Deng","Jia Guo","Jing Yang","Niannan Xue","Irene Kotsia","Stefanos Zafeiriou"],"url":"https://arxiv.org/abs/1801.07698","pdfUrl":"https://arxiv.org/pdf/1801.07698","codeUrl":null,"preprint":{"id":"1801.07698","submittedOn":"2018-01-23","url":"https://arxiv.org/abs/1801.07698"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2022,"kind":"journal","url":"https://doi.org/10.1109/tpami.2021.3087709"},"citation":"@misc{facerecognitionarcface2018,\n  title = {{ArcFace: Additive Angular Margin Loss for Deep Face Recognition}},\n  author = {Jiankang Deng and Jia Guo and Jing Yang and Niannan Xue and Irene Kotsia and Stefanos Zafeiriou},\n  year = {2018},\n  eprint = {1801.07698},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1801.07698}\n}\n","citationPath":"/content/papers/citations/face-recognition/arcface.90d5c31479c4.bib"},"thumbnail":{"src":"/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg","width":1224,"height":344},"locale":"zh-hant","path":"/content/papers/zh-hant/face-recognition/arcface.be03ebac9a95.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"回顧-cosface","text":"回顧 CosFace","depth":3},{"id":"為什麼不直接作用在-theta-上呢","text":"為什麼不直接作用在 \\theta 上呢？","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"差別在哪","text":"差別在哪？","depth":3},{"id":"拓展公式","text":"拓展公式","depth":3},{"id":"訓練與驗證資料集","text":"訓練與驗證資料集","depth":3},{"id":"訓練配置","text":"訓練配置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"不同-loss-的比較","text":"不同 Loss 的比較","depth":3},{"id":"驗證數據集的性能","text":"驗證數據集的性能","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/cosface","relation":"comparison","topic":"人臉辨識的角度間隔損失"}]},{"id":"face-recognition/cosface","category":"face-recognition","legacyPath":"face-recognition/1801-cosface","legacySlug":"1801-cosface","legacyPaths":[],"title":"CosFace","subtitle":"大餘弦損失","author":"Z. Yuan","paperDate":"2018-01-29","publishedOn":"2024-07-13","paperTitle":"CosFace: Large Margin Cosine Loss for Deep Face Recognition","paperUrl":"https://arxiv.org/abs/1801.09414","bibliography":{"title":"CosFace: Large Margin Cosine Loss for Deep Face Recognition","authors":["Hao Wang","Yitong Wang","Zheng Zhou","Xing Ji","Dihong Gong","Jingchao Zhou","Zhifeng Li","Wei Liu"],"url":"https://arxiv.org/abs/1801.09414","pdfUrl":"https://arxiv.org/pdf/1801.09414","codeUrl":null,"preprint":{"id":"1801.09414","submittedOn":"2018-01-29","url":"https://arxiv.org/abs/1801.09414"},"publication":{"venue":"CVPR","year":2018,"kind":"conference","url":"https://arxiv.org/abs/1801.09414"},"citation":"@misc{facerecognitioncosface2018,\n  title = {{CosFace: Large Margin Cosine Loss for Deep Face Recognition}},\n  author = {Hao Wang and Yitong Wang and Zheng Zhou and Xing Ji and Dihong Gong and Jingchao Zhou and Zhifeng Li and Wei Liu},\n  year = {2018},\n  eprint = {1801.09414},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1801.09414}\n}\n","citationPath":"/content/papers/citations/face-recognition/cosface.33b7c5f9be27.bib"},"thumbnail":{"src":"/content/papers/assets/c8580ee07dc22f7bb0b603896838b75721137d6f6b9ece236bbc2ce82387ad67.jpg","width":1224,"height":964},"locale":"zh-hant","path":"/content/papers/zh-hant/face-recognition/cosface.401657beb1b5.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"人臉辨識系統","text":"人臉辨識系統","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"損失函數","text":"損失函數","depth":3},{"id":"超參數-s","text":"超參數 s","depth":3},{"id":"超參數-m","text":"超參數 m","depth":3},{"id":"實作細節","text":"實作細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"探索-m-的影響","text":"探索 m 的影響","depth":3},{"id":"特徵歸一化的影響","text":"特徵歸一化的影響","depth":3},{"id":"和其他損失函數的比較","text":"和其他損失函數的比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"face-recognition/arcface","relation":"comparison","topic":"人臉辨識的角度間隔損失"}]}],"text":"這是個人臉辨識的熱鬧年。\n\n度量學習的概念在這個階段被引入，從 A-Softmax 到 CosFace，再到這篇 ArcFace，這一系列的損失函數都是為了解決人臉辨識中的邊際問題。\n\n## 定義問題\n\n我們不囉唆，直接從 Softmax 開始講起吧。\n\n$$\nL_{\\text{Softmax}} = \\frac{1}{N}\\sum_{i=1}^{N}-\\log\\left(\\frac{e^{f_{y_i}}}{\\sum_{j=1}^{C}e^{f_j}}\\right)\n$$\n\n這裡的 $f$ 是特徵向量，$y_i$ 是第 $i$ 張圖片的類別，$C$ 是類別的數量，$N$ 是批次大小。\n\n其中 $f_j$ 通常是一個全連接層的啟動函數，可以用 $f_j = W_j^Tx+B_j$ 來表示，這裡 $W_j$ 是全連接層的權重，$B_j$ 是偏差項。\n\n當我們設定 $B_j = 0$，所以 $f_j = W_j^Tx$，然後我們寫成向量內積的形式：\n\n$$\nf_j = \\|W_j\\|\\|x\\|\\cos\\theta_j\n$$\n\n這裡 $\\theta_j$ 是 $W_j$ 和 $x$ 之間的夾角。\n\n到這裡，我們沒有改變任何事情，就是描述一次 Softmax 損失函數的計算過程。\n\n### 回顧 CosFace\n\n- [**[18.01] CosFace: 大餘弦損失**](/blog/papers/face-recognition/cosface)\n\n接著，我們將 $\\|W_j\\|$ 和 $\\|x\\|$ 使用 L2 正規化，固定為 1。這樣一來 $f_j = \\cos\\theta_j$。\n\n在 CosFace 的論文中，將原本的 $f_j$ 改成 $f_j= \\cos\\theta_j -m $。\n\n減去一個常數 m 相當於在分類邊界上引入了一個「餘量」，從而要求模型在分類時必須更加自信。這可以有效增加類別間距，並提升模型對不同類別樣本的判別能力。換句話說，模型需要更高的置信度（更大的餘弦相似度）才能正確分類一個樣本，這有助於減少類別間的重疊。\n\n但既然我們的目標是增加類別間的邊際，為什麼要把 $m$ 作用在 $\\cos\\theta$ 上呢？\n\n### 為什麼不直接作用在 $\\theta$ 上呢？\n\n這就是作者在這篇文章中要解決的問題：\n\n**既然我們的目標是增加類別間的邊際，那我們就應該要直接作用在 $\\theta$ 上！**\n\n## 解決問題\n\n### 模型架構\n\n![arcface](/content/papers/assets/662f9ee504c03689244fbe094b6335f6e2a4c9dc22b3033db090a64a6a2e71e8.jpg)\n\n上圖畫的是加上 **sub-center** 的 ArcFace 損失流程：每個類別有 $K$ 個中心，先取該類別最大的餘弦相似度，再對正確類別加入角度邊際。基本 ArcFace 對應 $K=1$；這張圖並不是特徵提取骨幹的架構。\n\n但我們猜你不喜歡這張圖，所以我們來看看實作細節:\n\n```python\n# Implementation from ArcFace by InsightFace\n\nclass ArcFace(torch.nn.Module):\n\n    def __init__(self, s=64.0, margin=0.5):\n        super(ArcFace, self).__init__()\n        self.s = s\n        self.margin = margin\n        self.cos_m = math.cos(margin)\n        self.sin_m = math.sin(margin)\n        self.theta = math.cos(math.pi - margin)\n        self.sinmm = math.sin(math.pi - margin) * margin\n        self.easy_margin = False\n\n\n    def forward(self, logits: torch.Tensor, labels: torch.Tensor):\n        index = torch.where(labels != -1)[0]\n        target_logit = logits[index, labels[index].view(-1)]\n\n        with torch.no_grad():\n            target_logit.arccos_()\n            logits.arccos_()\n            final_target_logit = target_logit + self.margin\n            logits[index, labels[index].view(-1)] = final_target_logit\n            logits.cos_()\n        logits = logits * self.s\n        return logits\n```\n\n仔細看這一段：\n\n```python\nwith torch.no_grad():\n    target_logit.arccos_()\n    logits.arccos_()\n    final_target_logit = target_logit + self.margin\n    logits[index, labels[index].view(-1)] = final_target_logit\n    logits.cos_()\n```\n\n這一段的輸入 logits 是正規化特徵與類別權重的餘弦相似度；先用 arccos 轉回角度，只對正確類別加上 margin，再轉回 cos 值並乘以尺度 $s$。預設 margin 是 0.5 弧度，約 28.6 度；若原本的正確類別角度是 60 度，加上後約為 88.6 度。其他類別不加邊際，因此模型必須把正確類別的角度壓得更小。\n\n這段 InsightFace 實作在 `torch.no_grad()` 內原地修改 logits：前向數值符合角度邊際，但反向傳播對這段轉換採用原 logits 的直通梯度，並非對 $\\cos(\\arccos(x)+m)$ 做完整鏈式求導。\n\n### 差別在哪？\n\n作者在論文中有比較不同的 margin 對分類的影響：\n\n![loss diff](/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg)\n\n上圖中橫軸和縱軸是特徵與兩個類別中心的夾角 $\\theta_1$ 和 $\\theta_2$。最左邊是正規化 Softmax：分類邊界為 $\\theta_1=\\theta_2$，兩側各歸一類，沒有額外留出的角度邊際。\n\n第二張圖是 SphereFace 的乘法角裕度：對正確類別使用 $\\cos(m\\theta_{y_i})$。圖中兩類之間的邊際隨角度改變，並非恆定寬度；它同樣使用正規化後的超球面特徵，並非讓每個類別位於不同超球面。\n\n而 CosFace 的 margin 作用在正確類別的餘弦值上，投影回角度空間後邊際呈曲線；ArcFace 直接對正確類別角度加 $m$，圖中的邊際是等寬的平行直線。\n\n### 拓展公式\n\n既然都有了 CosFace 的「加法餘弦裕度（ additive cosine margin）」，有了 ArcFace 的「加法角裕度（additive angular\nmargin ）」，還有之前論文 SphereFace 提出的「乘法角裕度（multiplicative angular margin）」，那我們可以把這三種裕度統一起來，形成一個更加通用的公式：\n\n$$\nf_j =\n\\begin{cases}\n\\cos(m_1\\theta_{y_i} + m_2) - m_3 & \\text{if } j = y_i, \\\\\n\\cos\\theta_j & \\text{if } j \\neq y_i.\n\\end{cases}\n$$\n\n於是損失函數可以寫成：\n\n$$\nL_{\\text{ArcFace}} = -\\frac{1}{N}\\sum_{i=1}^{N}\\log\\left(\\frac{e^{s(f_{y_i})}}{e^{s(f_{y_i})} + \\sum_{j\\neq y_i}e^{s(f_j)}}\\right)\n$$\n\n基於上述公式，我們重新看一次不同的損失函數：\n\n- 在 CosFace 中，$m_1 = 1$，$m_2 = 0$，$m_3 = 0.35$；\n- 在 ArcFace 中，$m_1 = 1$，$m_2 = 0.5$，$m_3 = 0$；\n- 在 SphereFace 中，$m_1 = 1.35$，$m_2 = 0$，$m_3 = 0$。\n\n\n> [!TIP]\n> \n> 讀懂這一段之後，你也可以提出自己的損失函數，例如設定 $m_1 = 1.35$，$m_2 = 0.25$，$m_3 = 0.15$，這樣就是一個新的損失函數了。\n\n\n### 訓練與驗證資料集\n\n![dataset](/content/papers/assets/68b53c83221c0af01b956ed8317283fa066e4f027aa11c86914ad2b2419d89a1.jpg)\n\n1. **訓練數據集**:\n\n   - **CASIA**\n   - **VGG2**\n   - **MS1MV0**\n\n     - 資料集為寬鬆裁剪版本。\n     - 原始數據中的雜訊比例估計約為 47.1% ∼ 54.4%。\n     - 以半自動方法清理成為 **MS1MV3**。\n\n   - **Celeb500K**\n\n     - 收集方式與 **MS1MV0** 相同。\n     - 使用名人名單從 Google 搜尋身份並下載排名靠前的人臉圖像。\n     - 正文稱下載了 50 萬個身份的 2500 萬張影像；上表則將 Celeb500K 列為 5000 萬張，原文兩處數字不一致。\n     - 使用 RetinaFace 偵測大於 50×50 的人臉。\n\n   - **IBUG-500K 資料集**\n\n     - 通過 ID 字串去除重疊身份（約 50K）後，結合自動清理的 MS1MV0 和 Celeb500K。\n     - 最終得到包括 493K 身份的 1196 萬張影像，命名為 **IBUG-500K**。\n     - 下圖顯示了該資料集的性別、種族、姿勢、年齡和圖像數量分佈。\n\n       ![IBUG-500K](/content/papers/assets/e1246cd779681e990c33b43bb05cf5c060f8db4fc23c7767bfc0a4ae99285806.jpg)\n\n2. **驗證數據集**:\n\n   - **LFW & CFP-FP & AgeDB**\n\n     - 快速檢查模型的收斂狀態。\n\n   - **CPLFW & CALFW**\n\n     - 具有較大姿勢和年齡變化的最新資料集。\n\n   - **MegaFace & IJB-B & IJB-C**\n\n     - 大規模影像資料集。\n\n   - **LFR2019**\n     - 收集了來自各種節目、電影和電視劇的 10,000 個身份，共計 200,000 個影片。每個影片的長度從 1 秒到 30 秒不等。\n\n### 訓練配置\n\n1. **面部標準化裁剪：**\n\n   - 使用 RetinaFace 預測的五個面部點來生成標準化面部裁剪，尺寸為 112×112。\n\n2. **網路架構：**\n\n   - 使用 ResNet50 和 ResNet100 CNN 架構作為嵌入網路，這些架構不含瓶頸結構。\n   - 在最後一個卷積層後使用 BN-Dropout-FC-BN 結構來獲取最終的 512-D 嵌入特徵。\n\n3. **訓練設定：**\n\n   - 特徵尺度 `s` 設定為 64，ArcFace 的角邊距 `m` 設定為 0.5。\n   - 使用 MXNet 實現所有辨識實驗。\n   - Batch size 設定為 512，並在 8 個 NVIDIA Tesla P40 (24GB) GPU 上訓練模型。\n   - 動量設定為 0.9，權重衰減設定為 5e−4。\n\n## 討論\n\n### 不同 Loss 的比較\n\n![loss compare](/content/papers/assets/bf3c2905911544088347d61f1ef9e2e892800a4cf38056c55f85307952510ffe.jpg)\n\n1. **角度邊距設定：**\n\n   - 在 CASIA 資料集上使用 ResNet50，比較 0.4、0.45、0.5、0.55 後，0.5 在 CFP-FP 與 AgeDB 最佳，LFW 則與 0.4 同為 99.53%。\n   - SphereFace 和 CosFace 的最佳邊距分別為 1.35 和 0.35。\n\n2. **模型性能：**\n\n   - 作者重新實作的 SphereFace $m=1.35$ 不需原版的退火策略即可收斂。表中的 ArcFace $m=0.5$ 在 CFP-FP 與 AgeDB 最高，LFW 則與 ArcFace $m=0.4$ 並列最高。\n\n3. **組合裕度框架：**\n\n   - 表中 CM1 (1, 0.3, 0.2) 和 CM2 (0.9, 0.4, 0.15) 是兩組組合裕度設定；兩者在 CFP-FP 與 AgeDB 都低於 ArcFace $m=0.5$，不能解讀成組合裕度在此表表現最佳。\n\n4. **Norm-Softmax 和三元組損失：**\n\n   - 將 Norm-Softmax 與類內損失結合後，CFP-FP 和 AgeDB 的性能有所提升。\n   - 將 Norm-Softmax 與類間損耗結合後，準確性僅略微提高。\n   - 表中 Triplet (0.35) 在 CFP-FP 與 AgeDB 分別為 91.90% 與 89.98%，低於 ArcFace $m=0.5$ 的 95.56% 與 95.15%；這是該組訓練設定的比較。\n\n將 Intra-loss、Inter-loss 和 Triplet-loss 合併到 ArcFace 中後，未觀察到明顯改進。因此，作者認為 ArcFace 已經有效地加強了類內緊湊性、類間差異和分類邊際。\n\n### 驗證數據集的性能\n\n![dataset performance](/content/papers/assets/64e8814bfc3818b1e6a6830c837c67c30b28413209db0c77d22324f00b3f1c22.jpg)\n\n使用 ResNet100 在 MS1MV3 和 IBUG-500K 上訓練的 ArcFace 模型，在 LFW 均為 99.83%，YTF 分別為 98.02% 和 98.01%；表中的 CosFace 為 99.73%／97.6%。各方法的訓練影像數量不同，這張表不能單獨量出角度邊際的貢獻。\n\n表中多個模型在 LFW 約達 99.8%、YTF 約達 98.0%，差距已很小；ArcFace 接近表列最高值，但兩欄均非最高。\n\n---\n\n![cfp-fp](/content/papers/assets/163dc12dcd4cf8f067c6b3008903c96737b758048c46d4e6efeffe4e6dc6cf7e.jpg)\n\n除了 LFW 和 YTF，ArcFace 也在 CFP-FP、CPLFW、AgeDB 和 CALFW 上報告效能。IBUG-500K／ResNet100 這列依序為 98.87%、93.43%、98.38%、96.10%；CALFW 與 MV-Softmax 同為 96.10%，其餘三欄為表列最高。\n\n---\n\n![ijbc](/content/papers/assets/0cc806434efdb404791d3574319eb4dba254e28e8037bf3c4d1d664abbdcf906.jpg)\n\n使用 IBUG-500K 資料集和 ResNet100 訓練的 ArcFace 模型，在 IJB-B 和 IJB-C 的 1:1 驗證中，TPR@$10^{-4}$ FPR 分別為 96.02% 和 97.27%。表中較低的 softmax 基線使用不同訓練資料或骨幹，不能直接把整個差距算成 ArcFace 損失函數單獨帶來的增益。\n\n\n> [!NOTE]\n> \n> \n> - **IJB-B 資料集**\n> \n>   包含 1,845 名受試者，21.8K 靜態影像和 55K 幀，來自 7,011 個影片。\n> \n> - **IJB-C 資料集**\n> \n>   IJB-B 的擴展版，包含 3,531 個主題，31.3K 靜態影像和 117.5K 幀，來自 11,779 個影片。\n> \n> - IJB-B 和 IJB-C 上有兩種評估協議：1:1 驗證和 1:N 辨識。\n\n\n## 結論\n\nArcFace 的核心思想是透過在特徵空間中引入角度邊緣，來強化類內緊湊性與類間差異，從而在多個人臉辨識基準上顯示出卓越的性能。\n\n\n> [!TIP]\n> \n> 在實際使用上，由於 ArcFace 假設訓練資料是乾淨的，因此髒亂的資料集會顯著影響模型的性能。但公開資料集哪個不是充滿雜訊呢？\n> \n> 針對這一點作者在論文中有提出了另外一種觀點：**Sub-center ArcFace**，簡單來說就是配給每個類別多個聚類中心，讓雜訊可以被分散到不同的聚類中心：\n> \n> ![sub-center](/content/papers/assets/589d71cecc991f0c3b79332b361dab8224b66b4b82d38e63282ac8e0ca808970.jpg)\n> \n> 這是一個對 ArcFace 的改進，可以有效地處理髒亂的資料集。但是這樣會影響演算法聚合特徵的能力，當你在使用時請務必注意這一點。\n","imageSizes":{"/content/papers/assets/662f9ee504c03689244fbe094b6335f6e2a4c9dc22b3033db090a64a6a2e71e8.jpg":{"width":1774,"height":506},"/content/papers/assets/ff1f86abf662b782f06500e02831094dc915ac314887be62e23a9c3d51a89507.jpg":{"width":1224,"height":344},"/content/papers/assets/68b53c83221c0af01b956ed8317283fa066e4f027aa11c86914ad2b2419d89a1.jpg":{"width":1180,"height":1080},"/content/papers/assets/e1246cd779681e990c33b43bb05cf5c060f8db4fc23c7767bfc0a4ae99285806.jpg":{"width":2008,"height":386},"/content/papers/assets/bf3c2905911544088347d61f1ef9e2e892800a4cf38056c55f85307952510ffe.jpg":{"width":984,"height":948},"/content/papers/assets/64e8814bfc3818b1e6a6830c837c67c30b28413209db0c77d22324f00b3f1c22.jpg":{"width":764,"height":1074},"/content/papers/assets/163dc12dcd4cf8f067c6b3008903c96737b758048c46d4e6efeffe4e6dc6cf7e.jpg":{"width":1224,"height":436},"/content/papers/assets/0cc806434efdb404791d3574319eb4dba254e28e8037bf3c4d1d664abbdcf906.jpg":{"width":996,"height":1064},"/content/papers/assets/589d71cecc991f0c3b79332b361dab8224b66b4b82d38e63282ac8e0ca808970.jpg":{"width":1224,"height":540}}}
