{"notes":[{"id":"reparameterization/dbb","category":"reparameterization","legacyPath":"reparameterization/2103-dbb","legacySlug":"2103-dbb","legacyPaths":[],"title":"DBB","subtitle":"六個門徒","author":"Z. Yuan","paperDate":"2021-03-24","publishedOn":"2025-02-07","paperTitle":"Diverse Branch Block: Building a Convolution as an Inception-like Unit","paperUrl":"https://arxiv.org/abs/2103.13425","bibliography":{"title":"Diverse Branch Block: Building a Convolution as an Inception-like Unit","authors":["Xiaohan Ding","Xiangyu Zhang","Jungong Han","Guiguang Ding"],"url":"https://arxiv.org/abs/2103.13425","pdfUrl":"https://arxiv.org/pdf/2103.13425","codeUrl":null,"preprint":{"id":"2103.13425","submittedOn":"2021-03-24","url":"https://arxiv.org/abs/2103.13425"},"publication":{"venue":"CVPR","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2103.13425"},"citation":"@misc{reparameterizationdbb2021,\n  title = {{Diverse Branch Block: Building a Convolution as an Inception-like Unit}},\n  author = {Xiaohan Ding and Xiangyu Zhang and Jungong Han and Guiguang Ding},\n  year = {2021},\n  eprint = {2103.13425},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2103.13425}\n}\n","citationPath":"/content/papers/citations/reparameterization/dbb.577c41e6ebd5.bib"},"thumbnail":{"src":"/content/papers/assets/7c460ee5b5fb61e8043a7e8fc9e566fe1bb68ebbdc31c8f4dae2a86b3b5f0bf0.jpg","width":1190,"height":460},"locale":"zh-hant","path":"/content/papers/zh-hant/reparameterization/dbb.751dd50ae051.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"第一型conv-bn","text":"第一型：Conv-BN","depth":3},{"id":"第二型branch-add","text":"第二型：Branch Add","depth":3},{"id":"第三型sequential-conv","text":"第三型：Sequential Conv","depth":3},{"id":"第四型depth-concat","text":"第四型：Depth Concat","depth":3},{"id":"第五型average-pooling","text":"第五型：Average Pooling","depth":3},{"id":"第六型multi-scale-conv","text":"第六型：Multi-scale Conv","depth":3},{"id":"實驗參數配置","text":"實驗參數配置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"與其他方法的比較","text":"與其他方法的比較","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"reparameterization/repvgg","relation":"background","topic":"訓練分支如何合併成推論網路"},{"id":"reparameterization/mobileone","relation":"next","topic":"訓練分支如何合併成推論網路"}]},{"id":"reparameterization/repvgg","category":"reparameterization","legacyPath":"reparameterization/2101-repvgg","legacySlug":"2101-repvgg","legacyPaths":[],"title":"RepVGG","subtitle":"讓 VGG 再次偉大","author":"Z. Yuan","paperDate":"2021-01-11","publishedOn":"2024-07-15","paperTitle":"RepVGG: Making VGG-style ConvNets Great Again","paperUrl":"https://arxiv.org/abs/2101.03697","bibliography":{"title":"RepVGG: Making VGG-style ConvNets Great Again","authors":["Xiaohan Ding","Xiangyu Zhang","Ningning Ma","Jungong Han","Guiguang Ding","Jian Sun"],"url":"https://arxiv.org/abs/2101.03697","pdfUrl":"https://arxiv.org/pdf/2101.03697","codeUrl":null,"preprint":{"id":"2101.03697","submittedOn":"2021-01-11","url":"https://arxiv.org/abs/2101.03697"},"publication":{"venue":"CVPR","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2101.03697"},"citation":"@misc{reparameterizationrepvgg2021,\n  title = {{RepVGG: Making VGG-style ConvNets Great Again}},\n  author = {Xiaohan Ding and Xiangyu Zhang and Ningning Ma and Jungong Han and Guiguang Ding and Jian Sun},\n  year = {2021},\n  eprint = {2101.03697},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2101.03697}\n}\n","citationPath":"/content/papers/citations/reparameterization/repvgg.a8a729b9514b.bib"},"thumbnail":{"src":"/content/papers/assets/ed80741f073c5691ee7165b3b5d340699a61a3e3cd389dcffc84bea436b09836.jpg","width":1224,"height":968},"locale":"zh-hant","path":"/content/papers/zh-hant/reparameterization/repvgg.1e59bf5d9288.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"大量記憶體佔用","text":"大量記憶體佔用","depth":3},{"id":"推論速度慢","text":"推論速度慢","depth":3},{"id":"可是","text":"可是...","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"重新參數化","text":"重新參數化","depth":3},{"id":"參數配置","text":"參數配置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-性能","text":"ImageNet 性能","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"reparameterization/dbb","relation":"next","topic":"訓練分支如何合併成推論網路"},{"id":"reparameterization/qarepvgg","relation":"next","topic":"重參數化網路的量化問題"}]},{"id":"reparameterization/mobileone","category":"reparameterization","legacyPath":"reparameterization/2206-mobileone","legacySlug":"2206-mobileone","legacyPaths":[],"title":"MobileOne","subtitle":"一毫秒攻防","author":"Z. Yuan","paperDate":"2022-06-08","publishedOn":"2024-07-16","paperTitle":"MobileOne: An Improved One millisecond Mobile Backbone","paperUrl":"https://arxiv.org/abs/2206.04040","bibliography":{"title":"MobileOne: An Improved One millisecond Mobile Backbone","authors":["Pavan Kumar Anasosalu Vasu","James Gabriel","Jeff Zhu","Oncel Tuzel","Anurag Ranjan"],"url":"https://arxiv.org/abs/2206.04040","pdfUrl":"https://arxiv.org/pdf/2206.04040","codeUrl":null,"preprint":{"id":"2206.04040","submittedOn":"2022-06-08","url":"https://arxiv.org/abs/2206.04040"},"publication":{"venue":"CVPR","year":2023,"kind":"conference","url":"https://arxiv.org/abs/2206.04040"},"citation":"@misc{reparameterizationmobileone2022,\n  title = {{MobileOne: An Improved One millisecond Mobile Backbone}},\n  author = {Pavan Kumar Anasosalu Vasu and James Gabriel and Jeff Zhu and Oncel Tuzel and Anurag Ranjan},\n  year = {2022},\n  eprint = {2206.04040},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2206.04040}\n}\n","citationPath":"/content/papers/citations/reparameterization/mobileone.cbade423cf61.bib"},"thumbnail":{"src":"/content/papers/assets/f1d3676416f16224fbdba82b7113b2c4894d48fee9149dd2c8bc61fe781b22e2.jpg","width":840,"height":976},"locale":"zh-hant","path":"/content/papers/zh-hant/reparameterization/mobileone.5e520a657f87.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"瓶頸分析---啟動函數","text":"瓶頸分析 - 啟動函數","depth":3},{"id":"瓶頸分析---架構","text":"瓶頸分析 - 架構","depth":3},{"id":"模型架構","text":"模型架構","depth":3},{"id":"模型配置","text":"模型配置","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-的性能","text":"ImageNet 的性能","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"reparameterization/dbb","relation":"background","topic":"訓練分支如何合併成推論網路"},{"id":"reparameterization/fastvit","relation":"comparison","topic":"面向部署的快速視覺骨架"},{"id":"reparameterization/repvit","relation":"comparison","topic":"面向部署的快速視覺骨架"}]}],"text":"之前看完這篇論文，一直沒有找到時間整理一下。\n\n這次就來談談這篇論文的內容。\n\n## 定義問題\n\n還記得 RepVGG 嗎？\n\n簡單回顧一下，所謂「重參數化」（re-parameterization），指的是在訓練階段先使用較複雜的結構或多條分支來學習多樣的特徵表示，待模型訓練完之後，再把這些複雜結構的參數整合、合併到一個簡化的模型中，從而在推論時保有接近「單一路徑卷積」的推論效率。\n\nRepVGG 便是此概念的一個代表，整體概念如下圖所示：\n\n\n\n![repvgg](/content/papers/assets/1f3ba1cd2ffd91091315fd249caf027989ca667b188261f621b2bac077b18748.jpg)\n\n\n\n訓練時引入額外的 1×1 卷積、identity 分支等，最後將它們全部「濃縮」到純粹的 3×3 卷積層，使推論結構就像經典的 VGG 一樣輕量又高效\n\n\n> [!TIP]\n> \n> 如果你對重參數化（re-parameterization）的概念一無所知，那我們建議你要先讀過 RepVGG 的論文：\n> \n> - [**[21.01] RepVGG: 讓 VGG 再次偉大**](/blog/papers/reparameterization/repvgg)\n\n\n看完 RepVGG 之後，你可能會覺得這個分支設計是不是可以再更多元一點？\n\n本篇論文的作者也是這麼想的，或許我們能到找到更多元的設計方式，讓模型在訓練時能夠學習到更多樣的特徵：\n\n- **反正只要能夠在推論階段把合成一支，就能夠列入考慮！**\n\n基於上述目標，作者最後提出了「六個」解決方案。\n\n## 解決問題\n\n\n\n![dbb](/content/papers/assets/7c460ee5b5fb61e8043a7e8fc9e566fe1bb68ebbdc31c8f4dae2a86b3b5f0bf0.jpg)\n\n\n\n### 第一型：Conv-BN\n\n常見的卷積層都會接一個 Batch Normalization (BN)，即「conv → BN」。\n\n在推論時，BN 使用固定的統計量，可視為「對同一輸出通道做仿射變換」：先減去通道平均值 $\\mu_j$、除以標準差 $\\sigma_j$，再乘上學習到的係數 $\\gamma_j$、加上偏置 $\\beta_j$。\n\n在論文的卷積不另帶偏置的設定下，我們可利用「齊次性與可加性」把 BN 與前面的卷積合併到一個新的卷積核與偏置中，合併公式如下：\n\n$$\nF'_j \\;\\leftarrow\\; \\frac{\\gamma_j}{\\sigma_j} \\, F_j,\\quad\nb'_j \\;\\leftarrow\\; -\\,\\frac{\\mu_j \\,\\gamma_j}{\\sigma_j} \\;+\\; \\beta_j.\n$$\n\n這樣就不需要在推論時顯式分開「卷積 + BN」，而是直接用新卷積核 $F'_j$ 和新偏置 $b'_j$。\n\n### 第二型：Branch Add\n\n分支相加指的是把兩個同配置的卷積 (如同大小核、同通道數) 的輸出相加。\n\n由可加性可知，兩個卷積分別經過「第一型」後，若它們卷積核為 $F^{(1)}, F^{(2)}$；偏置為 $b^{(1)}, b^{(2)}$，則合併結果是：\n\n$$\nF^{(0)} \\;\\leftarrow\\; F^{(1)} + F^{(2)},\\quad\nb^{(0)} \\;\\leftarrow\\; b^{(1)} + b^{(2)}\n$$\n\n因此，分支須共享輸入、stride、padding 等配置，且分支內沒有尚未合併的非線性啟動函數，才能加總到同一個卷積核。\n\n### 第三型：Sequential Conv\n\n如果是序列式的卷積層，如「1 × 1 conv → BN → K × K conv → BN」，也能合併成一個等效的 K × K 卷積，合併的過程如下：\n\n1. 先把前面 1 × 1 conv + BN 合併為一個等效的 1 × 1 卷積（得到 $F^{(1)}, b^{(1)}$）。\n2. 再把後面 K × K conv + BN 合併為另一個等效的 K × K 卷積（得到 $F^{(2)}, b^{(2)}$）。\n3. 最後把這兩層合起來。\n\n當前面的 1 × 1 conv 使用 stride 1 時，它只改變通道的線性組合；我們可將兩層卷積核做線性合成，得到一個 K × K 卷積核。同時，前一層的偏置在經過後一層的卷積時，須按後層卷積核加權後，併入新的偏置。\n\n整理之後，就能得到一個新的 K × K 卷積 $F^{(0)}, b^{(0)}$，完成序列層的合併。\n\n\n> [!TIP]\n> \n> **Padding 問題**\n> \n> 若第二層 K × K 卷積以 0 補邊，邊界位置取到的 0 就不是前一層輸出的偏置 $b^{(1)}$，上述偏置合併公式便不成立。論文中，作者提出兩種解法：\n> \n> 1. 只對第一層卷積做 padding，第二層不做；\n> 2. 透過「pad by $b^{(1)}$」的方式，來保持一致性。\n> \n> 這部分是細節層面的實做問題，但原理就是要確保空間對齊。\n\n\n### 第四型：Depth Concat\n\n\n\n![depth-concat](/content/papers/assets/ba3842e2d586582a99e52cf57e55effade6135f5ee720c69ddb1ab2dc3d9336f.jpg)\n\n\n\nInception 類結構常用「深度串接」來把多個分支的輸出在通道維度上連接。\n\n若這些分支都只是「一個卷積」，且空間對齊相同，那麼直接把它們的卷積核在輸出的維度上串接即可：\n\n$$\nF^{(0)} \\;\\leftarrow\\; \\mathrm{CONCAT}\\bigl(F^{(1)}, F^{(2)}\\bigr),\n\\quad\nb^{(0)} \\;\\leftarrow\\; \\mathrm{CONCAT}\\bigl(b^{(1)}, b^{(2)}\\bigr).\n$$\n\n如此就等效於「原先的所有輸出通道」合成到同一個大卷積裡。對於分組卷積也能類比此做法，只是在通道上要進行對應的拆分、合併即可。\n\n### 第五型：Average Pooling\n\n平均池化其實可以視為一種特殊的卷積。\n\n如果我們有一個大小為 $K \\times K$ 的 pooling kernel，其實跟「同樣大小的卷積核，對應輸入與輸出通道的每個位置都是 $1/K^2$，其他通道為 0」等效，即：\n\n$$\nF_{d,c,:,:} =\n\\begin{cases}\n1/K^2, & \\text{if } d=c,\\\\\n0, & \\text{otherwise}.\n\\end{cases}\n$$\n\n此等價式要求池化與卷積使用一致的 padding 和固定的 $K^2$ 分母。當 stride = 1 時，就只是平滑；若 stride > 1，則會產生降採樣。\n\n因此，如果在一個分支裡用到了平均池化，也能直接把它換算成一個固定參數的卷積核，再用前面那些 Transform (如可加性) 與其他分支合併。\n\n### 第六型：Multi-scale Conv\n\n\n\n![multi-scale](/content/papers/assets/5f53911e158f386206e44d96bd9a4fcd2a4c97d8a99aaa7dc818fb22c376aa73.jpg)\n\n\n\n若網路中有不同大小的卷積核 (例如 $1 \\times 1$、$1 \\times K$、$K \\times 1$、$k_h \\times k_w$ 等)，都可以視為在一個 $K \\times K$ 大小的卷積核中「部分位置為零」(zero-padding) 的情況。\n\n如此一來，所有不同尺寸 (只要不大於 $K \\times K$) 都能被「拓展」到同樣大小的 $K \\times K$ 卷積核維度，保持對齊，並最終可加性合併。\n\n### 實驗參數配置\n\n![expirement](/content/papers/assets/6f42368293a9ff81eb68fc6ba2209aeafad5563bf4b675f8826514921d5a6dd7.jpg)\n\n上表總結了實驗配置。\n\n作者在 CIFAR-10/100 上採用標準資料增強，包括將圖像擴邊至 40×40、隨機裁剪與左右翻轉。為了快速驗證可行性，選擇 VGG-16，並依據 ACNet，將原本的兩個 FC 層替換為全域平均池化，再接單層 512 神經元的 FC。為公平比較，VGG 的每個卷積層均加入 BN。\n\nImageNet-1K 包含 128 萬張訓練圖與 5 萬張驗證圖。小型模型（AlexNet、MobileNet）採用標準增強（隨機裁剪、翻轉），ResNet-18/50 則額外加入顏色抖動與光照變化。AlexNet 設計與 ACNet 相同，不含局部響應歸一化（LRN），且每層卷積後加入 BN。CIFAR 與 ImageNet 的學習率調整均採餘弦退火（初始值 0.1）。\n\nCOCO 檢測使用 CenterNet，共訓練 126k 次迭代，初始學習率 0.02，並在 81k 和 108k 迭代時衰減 0.1 倍。Cityscapes 語義分割則採 PSPNet 官方設定，使用 poly 學習率策略（基準 0.01，指數 0.9），總計 200 epoch。\n\n在所有架構中，作者將 K×K（1 < K < 7）卷積及其後 BN 替換為 DBB，形成 DBB-Net。較大卷積核（如 ResNet 和 AlexNet 的 7×7、11×11）未納入實驗，因其在模型設計中較少使用。所有模型均於相同配置下訓練，最終將 DBB-Net 轉換回原始結構進行測試。所有實驗均於 PyTorch 完成。\n\n## 討論\n\n### 與其他方法的比較\n\n\n\n![compare](/content/papers/assets/7a4c7f5d872da96a0b4df95a1e4d8f844df90b2db926d4551362e6ab9c88e56a.jpg)\n\n\n\n實驗結果如上表，加入 DBB-Net 之後，CIFAR 與 ImageNet 上都展現了明顯且一致的性能提升：\n\n- VGG-16 在 CIFAR-10 與 CIFAR-100 上分別提升了 0.67 與 1.67 個百分點，\n- AlexNet 在 ImageNet 上提升了 1.96 個百分點\n- MobileNet 提升了 0.99 個百分點\n- ResNet-18/50 則分別提升了 1.45／0.57 個百分點。\n\n其中 ACNet 在理論上是 DBB 的特例，在實驗中 DBB 的效果優於 ACNet，說明了融合類似 Inception 的不同複雜度路徑，可能比僅依靠多尺度卷積所產生的特徵聚合更能受益。\n\n### 消融實驗\n\n\n\n![ablation](/content/papers/assets/1e548e3fda8fa965b355d5e2aec317a22d09f340c59f2d03d11b192a5d8f5fe2.jpg)\n\n\n\n作者基於 ResNet-18 進行了一系列消融實驗，以驗證多樣化分支（diverse connections）與訓練期非線性的重要性。\n\n實驗結果顯示，從完整 DBB 移除任何一條分支都會導致性能下降，顯示每條分支在這組實驗中都有貢獻。此外，即使僅使用三條分支，也能使準確率達到 70% 以上，顯示多樣化結構的有效性。在資源有限的情況下，保留原有 K×K 卷積，另加 1×1 和 1×1−AVG 分支可構建較輕量的 DBB，雖然準確率略有下降，但換取了更高的訓練效率。\n\n進一步比較 DBB 與分支數相同的重複分支（duplicate blocks）後發現，DBB 仍優於僅含重複卷積的結構。例如，(K×K + 1×1) 組合的準確率（70.15%）高於 double K×K（69.81%），顯示在這組對照中，一個較弱的組件加上一個較強的組件，比兩個相同的強組件更具優勢。\n\n同樣地，包含 (K×K + 1×1 + 1×1−AVG) 的 DBB（70.40%）也優於 triple K×K（70.29%），即便後者的訓練期參數量是前者的 2.3 倍，進一步證明連結的多樣性比單純增加參數量更重要。\n\n為確認這些提升並非單純來自不同的初始化，作者構建了「baseline + init」對照組，先隨機初始化完整的 DBB-Net，立刻合併成一般 ResNet-18，再以相同設定訓練。最終準確率（69.67%）與標準初始化的基線（69.54%）接近，顯示初始化不是這組實驗的主要原因。\n\n最後，作者也分析了 BN 在訓練期非線性中的影響。\n\n當 BN 被移至所有分支相加之後，分支相加之前只剩線性運算，性能提升顯著減少。例如，(K×K + 1×1) DBB 在這種情況下的準確率僅 69.83%，低於原始 DBB（70.15%）。這表明，即便沒有各分支的訓練期 BN，多樣化分支在這組對照中仍能提升模型效能，但分支內的 BN 能進一步增強學習能力。\n\n實驗同時考察了訓練與測試速度：在八張 1080Ti 上，完整 DBB 的訓練速度由基線的每秒 4.44 批降至 4.06 批；未合併前的單卡測試速度由每秒 19.24 批降至 4.11 批。合併後各模型的推論結構相同，不能把訓練期測得的速度當成部署速度。\n\n## 結論\n\n本研究提出了一種全新的卷積神經網路構建模塊：**DBB（Diverse Branch Block）**，透過單一卷積實現多樣化分支的融合。\n\n實驗證明，DBB 能夠在不增加推論成本的情況下，有效提升現有架構的性能。其中，多樣化連結與訓練期非線性是 DBB 優於普通卷積層的關鍵因素。這項研究為未來的網路設計提供了新方向，展示了更靈活且高效的卷積計算方式。\n","imageSizes":{"/content/papers/assets/1f3ba1cd2ffd91091315fd249caf027989ca667b188261f621b2bac077b18748.jpg":{"width":1120,"height":1080},"/content/papers/assets/7c460ee5b5fb61e8043a7e8fc9e566fe1bb68ebbdc31c8f4dae2a86b3b5f0bf0.jpg":{"width":1190,"height":460},"/content/papers/assets/ba3842e2d586582a99e52cf57e55effade6135f5ee720c69ddb1ab2dc3d9336f.jpg":{"width":936,"height":812},"/content/papers/assets/5f53911e158f386206e44d96bd9a4fcd2a4c97d8a99aaa7dc818fb22c376aa73.jpg":{"width":974,"height":346},"/content/papers/assets/6f42368293a9ff81eb68fc6ba2209aeafad5563bf4b675f8826514921d5a6dd7.jpg":{"width":1224,"height":264},"/content/papers/assets/7a4c7f5d872da96a0b4df95a1e4d8f844df90b2db926d4551362e6ab9c88e56a.jpg":{"width":1224,"height":392},"/content/papers/assets/1e548e3fda8fa965b355d5e2aec317a22d09f340c59f2d03d11b192a5d8f5fe2.jpg":{"width":1296,"height":566}}}
