{"notes":[{"id":"reparameterization/vanillanet","category":"reparameterization","legacyPath":"reparameterization/2305-vanillanet","legacySlug":"2305-vanillanet","legacyPaths":[],"title":"VanillaNet","subtitle":"香草極簡風","author":"Z. Yuan","paperDate":"2023-05-22","publishedOn":"2024-07-16","paperTitle":"VanillaNet: the Power of Minimalism in Deep Learning","paperUrl":"https://arxiv.org/abs/2305.12972","bibliography":{"title":"VanillaNet: the Power of Minimalism in Deep Learning","authors":["Hanting Chen","Yunhe Wang","Jianyuan Guo","Dacheng Tao"],"url":"https://arxiv.org/abs/2305.12972","pdfUrl":"https://arxiv.org/pdf/2305.12972","codeUrl":null,"preprint":{"id":"2305.12972","submittedOn":"2023-05-22","url":"https://arxiv.org/abs/2305.12972"},"publication":{"venue":"NeurIPS","year":2023,"kind":"conference","url":"https://papers.nips.cc/paper_files/paper/2023/hash/16336d94a5ffca8de019087ab7fe403f-Abstract-Conference.html"},"citation":"@misc{reparameterizationvanillanet2023,\n  title = {{VanillaNet: the Power of Minimalism in Deep Learning}},\n  author = {Hanting Chen and Yunhe Wang and Jianyuan Guo and Dacheng Tao},\n  year = {2023},\n  eprint = {2305.12972},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2305.12972}\n}\n","citationPath":"/content/papers/citations/reparameterization/vanillanet.b9acdc9bd855.bib"},"thumbnail":{"src":"/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg","width":1526,"height":600},"locale":"zh-hant","path":"/content/papers/zh-hant/reparameterization/vanillanet.6c1a9ba9c76c.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"為什麼無殘差的卷積架構不再受到重視","text":"為什麼無殘差的卷積架構不再受到重視？","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"這不-work-啊","text":"這不 Work 啊？","depth":3},{"id":"深度訓練策略","text":"深度訓練策略","depth":3},{"id":"序列知曉series-informed啟動函數","text":"序列知曉（Series Informed）啟動函數","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"消融實驗---啟動函數","text":"消融實驗 - 啟動函數","depth":3},{"id":"消融實驗---深度訓練策略","text":"消融實驗 - 深度訓練策略","depth":3},{"id":"消融實驗---殘差連接","text":"消融實驗 - 殘差連接","depth":3},{"id":"imagenet-上的性能","text":"ImageNet 上的性能","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/vgg","relation":"background","topic":"簡化卷積網路的設計"}]},{"id":"classic-cnns/vgg","category":"classic-cnns","legacyPath":"classic-cnns/1409-vgg","legacySlug":"1409-vgg","legacyPaths":[],"title":"VGG","subtitle":"很深，還要更深","author":"Z. Yuan","paperDate":"2014-09-04","publishedOn":"2024-07-11","paperTitle":"Very Deep Convolutional Networks for Large-Scale Image Recognition","paperUrl":"https://arxiv.org/abs/1409.1556","bibliography":{"title":"Very Deep Convolutional Networks for Large-Scale Image Recognition","authors":["Karen Simonyan","Andrew Zisserman"],"url":"https://arxiv.org/abs/1409.1556","pdfUrl":"https://arxiv.org/pdf/1409.1556","codeUrl":null,"preprint":{"id":"1409.1556","submittedOn":"2014-09-04","url":"https://arxiv.org/abs/1409.1556"},"publication":{"venue":"ICLR","year":2015,"kind":"conference","url":"https://arxiv.org/pdf/1409.1556"},"citation":"@misc{classiccnnsvgg2014,\n  title = {{Very Deep Convolutional Networks for Large-Scale Image Recognition}},\n  author = {Karen Simonyan and Andrew Zisserman},\n  year = {2014},\n  eprint = {1409.1556},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1409.1556}\n}\n","citationPath":"/content/papers/citations/classic-cnns/vgg.6d704fc68256.bib"},"thumbnail":{"src":"/content/papers/assets/f8c8263e4970f0d994107c8084552e778e2f8f3cee14e213551fb6b0942568c2.jpg","width":968,"height":980},"locale":"zh-hant","path":"/content/papers/zh-hant/classic-cnns/vgg.6a54029f20fb.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"網路架構","text":"網路架構","depth":3},{"id":"訓練細節","text":"訓練細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"lrn-沒有貢獻","text":"LRN 沒有貢獻","depth":3},{"id":"imagenet-上的表現","text":"ImageNet 上的表現","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/alexnet","relation":"background","topic":"如何訓練更深的卷積網路"},{"id":"classic-cnns/resnet","relation":"next","topic":"如何訓練更深的卷積網路"},{"id":"reparameterization/vanillanet","relation":"next","topic":"簡化卷積網路的設計"}]}],"text":"在深度卷積網路流行了十年後，居然還能看見這麼極簡風格的作品。\n\n## 定義問題\n\n在過去幾年間，電腦視覺領域的研究突飛猛進。從一開始的 AlexNet 到現在最新進的 CNN 與 Transformer 的 Hybrid 架構，讓人目不暇給。\n\n為了刷 ImageNet 的榜，研究者們不斷地提高模型複雜度，相對的計算成本和資源需求也急劇上升。不僅如此，複雜的架構也讓部署流程帶來挑戰，像是 ResNet 在操作時會消耗大量的額外記憶體，或是 Swin Transformer 中的移位視窗機制，需要複雜的工程實現，包含了重寫 CUDA 程式碼等。\n\n### 為什麼無殘差的卷積架構不再受到重視？\n\n說的就是 AlexNet 和 VGG。\n\n原因是什麼大家也都懂：因為深度網路結構中存在梯度消失和網路退化的問題。而當年正式 ResNet 提出的殘差結構則有效地解決這個問題。也因此無殘差的網路架構，在準確度方面就是比不過別人，這是無可避免的事實。\n\n簡單架構的網路設計一時之間彷彿走入死胡同，乏人問津。\n\n隨著 AI 晶片的不斷發展，現代 GPU 可以經鬆地進行平行運算，神經網路的推論速度瓶頸已經不再是 FLOPs 或參數量。相比之下，模型得複雜設計和大深度，反而成為速度的阻礙。\n\n直到這時人們愕然發現，原來最後的瓶頸早在出發前就已經悄然注定。\n\n## 解決問題\n\n### 模型架構\n\n![model arch](/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg)\n\n本論文的作者提出了一個普通的神經網路架構，稱為 VanillaNet，如上圖。\n\n看到這個架構，時間彷彿回到十年前：\n\n- AlexNet！你怎麼在這裡？\n\n---\n\n和現在的深度網路不同，這裡每個降採樣階段都只有「一層」。\n\n在 Stem 階段，作者使用 stride 為 4 的 $4 \\times 4 \\times 3 \\times C$ 的卷積層，將圖像映射到 $C$ 維的特徵空間。\n\n在第 1 ~ 3 階段，使用 stride 為 2 的 MaxPool 來縮小特徵圖尺寸，並且將通道數增加兩倍；第 4 階段不再增加通道數。\n\n最後經全域平均池化與分類層輸出結果。除了 Stem 的 $4 \\times 4$ 卷積，其餘卷積層的尺寸都是 $1 \\times 1$，減少每層計算量。卷積層後面套用啟動函數，並且使用 BatchNorm 來穩定訓練過程。\n\n這裡沒有殘差連接，也沒有注意力機制，更沒有移位視窗，只有最基本的卷積和池化。\n\n### 這不 Work 啊？\n\n這麼樸實無華的架構，怎麼可能有好的表現？\n\n作者指出，這種設計缺少了關鍵的屬性：「非線性層」。\n\n我們都知道神經網路的強大之處在於它的非線性，這是它能夠擬合複雜函數的關鍵，如何提升這個網路的非線性能力？這個部分後面再看，先繼續看一下另外一個問題：「深度」。\n\n### 深度訓練策略\n\n在卷積神經網路中，卷積層和啟動函數的組合是網路能夠捕捉數據非線性特徵的關鍵。\n\n在訓練的初始階段，作者以兩個卷積層和中間的啟動函數，取代原本的一個卷積層。這樣設計的目的是讓網路在初始階段具有強非線性能力，從而能夠更好地學習數據的特徵。隨著訓練的進行，逐漸減弱中間啟動函數的非線性，最終將其轉變為一個恒等映射。\n\n整個啟動函數的變化，可以用以下公式來描述：\n\n$$\nA'(x) = (1 - \\lambda)A(x) + \\lambda x,\n$$\n\n其中，$\\lambda$是一個隨訓練次數而變化的超參數。在訓練開始時，$\\lambda = 0$，此時$A'(x) = A(x)$，表示啟動函數處於全強度狀態；隨著訓練進行，$\\lambda$逐漸增大，直到訓練結束時，$\\lambda = 1$，此時$A'(x) = x$，啟動函數變為恒等映射。\n\n在訓練結束時，由於啟動函數已經變為恒等映射，兩個卷積層可以合併為一個卷積層，這樣可以減少推理時間，提升模型的運行效率。合併的部分就回到我們熟悉的重新參數化的過程：\n\n- **BatchNorm 的合併**：\n\n  首先將每個 BatchNorm 層與其前面的卷積層合併。\n\n  設卷積層的權重和偏置矩陣分別為 $W \\in \\mathbb{R}^{C_{out} \\times C_{in} \\times k \\times k}$ 和 $B \\in \\mathbb{R}^{C_{out}}$，批量歸一化的參數（縮放、平移、均值和標準差）分別為$\\gamma, \\beta, \\mu, \\sigma \\in \\mathbb{R}^{C_{out}}$。這裡的 $\\sigma$ 包含 BN 的 $\\epsilon$ 項。\n\n  合併後的權重和偏置矩陣為：\n\n  $$\n  W'_i = \\frac{\\gamma_i}{\\sigma_i} W_i, \\quad B'_i = \\frac{(B_i - \\mu_i) \\gamma_i}{\\sigma_i} + \\beta_i,\n  $$\n\n  其中下標$i$表示第$i$個輸出通道的值。\n\n- **兩個 $1 \\times 1$ 卷積層的合併**：\n\n  合併批量歸一化層後，我們進行兩個$1 \\times 1$卷積層的合併。\n\n  設 $x \\in \\mathbb{R}^{C_{in} \\times H \\times W}$ 和 $y \\in \\mathbb{R}^{C_{out} \\times H' \\times W'}$ 為輸入和輸出特徵，卷積可以表示為：\n\n  $$\n  y = W * x = W \\cdot \\text{im2col}(x) = W \\cdot X,\n  $$\n\n  其中 $*$ 表示卷積操作，$\\cdot$ 表示矩陣乘法，$X$ 由 im2col 操作生成，將輸入轉換為與卷積核形狀相應的矩陣。對於 $1 \\times 1$ 卷積，我們發現 im2col 操作變為簡單的重塑操作，因此，兩個卷積層的權重矩陣 $W_1$ 和 $W_2$ 可以合併為一個矩陣：\n\n  $$\n  y = W_1 * (W_2 * x) = W_1 \\cdot W_2 \\cdot \\text{im2col}(x) = (W_1 \\cdot W_2) \\cdot X,\n  $$\n\n  若兩層有偏置，合併後還須加上 $W_1 B_2+B_1$。因此，兩個$1 \\times 1$卷積層可合併成一層，減少推理時的層數。\n\n這種深度訓練策略有以下幾個優勢：\n\n1. **提高模型的非線性能力**：在訓練初期，使用強非線性啟動函數有助於模型捕捉數據中的複雜模式，從而提高模型的表現。\n2. **逐漸過渡到簡化模型**：隨著訓練的進行，啟動函數逐漸變為恒等映射，使得最終的模型結構簡化，有助於提升推理速度。\n3. **方便的層合併操作**：在訓練結束時，可以輕鬆地將兩個卷積層合併為一個，減少了計算成本，提高了模型的運行效率。\n\n\n> [!TIP]\n> \n> 整個重新參數化的過程和我們看過的 RepVGG 的概念上是一樣的。\n> \n> - [**RepVGG: 讓 VGG 再次偉大**](/blog/papers/reparameterization/repvgg)\n\n\n### 序列知曉（Series Informed）啟動函數\n\n根據現有研究的理論證明，簡單和淺層網路的能力有限主要是由於其「**非線性不足**」所致，這與深度和複雜網路不同，因此尚未得到充分研究。\n\n事實上，有兩種方法可以提高神經網路的非線性：\n\n1. **堆疊非線性啟動層**\n2. **增加每個啟動層的非線性**\n\n現有網路趨勢選擇前者，但這在平行計算能力過剩時會導致高延遲。\n\n---\n\n一種提高啟動層非線性的直接想法是堆疊，啟動函數的「串行」堆疊是深層網路的核心思想。\n\n相比之下，在這篇論文中，作者選擇「並行」堆疊啟動函數。\n\n設神經網路中對輸入 $x$ 的單個啟動函數為 $A(x)$，可以是常用的 ReLU 或 Tanh 等函數。\n\n啟動函數的並行堆疊可以表示為：\n\n$$\nA_s(x) = \\sum_{i=1}^{n} a_i A(x + b_i)\n$$\n\n其中 $n$ 表示堆疊的啟動函數數量，$a_i$ 和 $b_i$ 是每個啟動函數的縮放和偏移。通過並行堆疊可以大幅增強啟動函數的非線性，上式在數學上可視為一個級數，即「加和」多個數量的操作。\n\n為了進一步增強級數的近似能力，作者使「**基於級數的函數能夠通過變化其鄰域的輸入來學習全局信息**」，這與 BNET 的理念相似。\n\n- [**[23.01] BNET: Batch normalization with enhanced linear transformation**](https://ieeexplore.ieee.org/document/10012548)\n\n給定輸入特徵 $x \\in \\mathbb{R}^{H \\times W \\times C}$，其中 $H$、$W$ 和 $C$ 分別是其高度、寬度和通道數，啟動函數表示為：\n\n$$\nA_s(x_{h,w,c}) = \\sum_{i=-n}^{n}\\sum_{j=-n}^{n} a_{i,j,c} A(x_{i+h,j+w,c} + b_c)\n$$\n\n其中 $h \\in \\{1, 2, ..., H\\}$，$w \\in \\{1, 2, ..., W\\}$ 和 $c \\in \\{1, 2, ..., C\\}$。\n\n當 $n = 0$ 時，沒有鄰域混合；若令 $a_{0,0,c}=1$、$b_c=0$，式子才等於普通啟動函數 $A(x)$。這裡的 $n$ 是空間半徑，和前一式的項數不同。作者使用 ReLU 作為基本啟動函數。\n\n\n> [!TIP]\n> \n> 在這裡暫停一下，看論文時，你可能會覺得這段敘述有點抽象。\n> \n> 簡單來說，在常見的網路設計中，假設我們有一個 $3 \\times 3$ 的卷積層，然後接一個 ReLU，此處的輸出可受輸入中 $3 \\times 3$ 的區域影響；再來是下一層的 $3 \\times 3$ 卷積層，再接一個 ReLU，感受野才擴到 $5 \\times 5$，就這樣一路向更深層「串行」下去。\n> \n> 那論文中提到的「並行」堆疊啟動函數是什麼意思呢？\n> \n> 這裡是先對特徵圖做一次 ReLU，再把同一通道鄰近位置的 ReLU 輸出加權相加。程式用逐通道卷積實作這個求和：`act_num=1` 對應 $3 \\times 3$ 鄰域，`act_num=2` 對應 $5 \\times 5$，`act_num=3` 對應 $7 \\times 7$。它沒有把前一層卷積核直接加大，也不是串接三層 ReLU。\n> \n> 這裡我們可以直接看一下實作。上式描述設計概念；程式則在 ReLU 後做逐通道卷積與 BatchNorm，沒有把 $b_c$ 放在 ReLU 前：\n> \n> ```python\n> # Ref: VanillaNet\n> #     https://github.com/huawei-noah/VanillaNet/blob/main/models/vanillanet.py\n> import torch\n> import torch.nn as nn\n> from timm.models.layers import weight_init\n> \n> class activation(nn.ReLU):\n> \n>     def __init__(self, dim, act_num=3, deploy=False):\n>         super(activation, self).__init__()\n>         self.act_num = act_num\n>         self.deploy = deploy\n>         self.dim = dim\n>         self.weight = nn.Parameter(torch.randn(dim, 1, act_num*2 + 1, act_num*2 + 1))\n>         if deploy:\n>             self.bias = nn.Parameter(torch.zeros(dim))\n>         else:\n>             self.bias = None\n>             self.bn = nn.BatchNorm2d(dim, eps=1e-6)\n>         weight_init.trunc_normal_(self.weight, std=.02)\n> \n>     def forward(self, x):\n>         if self.deploy:\n>             return nn.functional.conv2d(\n>                 super(activation, self).forward(x),\n>                 self.weight, self.bias, padding=self.act_num, groups=self.dim)\n>         else:\n>             return self.bn(nn.functional.conv2d(\n>                 super(activation, self).forward(x),\n>                 self.weight, padding=self.act_num, groups=self.dim))\n> ```\n> \n> 你直接看 `def forward(self, x):` 的部分，這裡先對輸入使用一次 ReLU，然後再使用 `nn.functional.conv2d` 加權彙整鄰域。卷積核是 `self.weight`，邊長為 `act_num*2 + 1`，表示每個方向取用的鄰域半徑是 `act_num`。\n> \n> 最後，這些操作都是逐通道進行的，你可以看到上面的 `groups=self.dim` 參數，這是 PyTorch 中的 `groups` 參數，表示對每個通道進行獨立的卷積操作。\n> \n\n\n## 討論\n\n剛才提到的淺層網路的能力有限主要是由於其「非線性不足」，現在加入了並行堆疊的啟動函數，這樣的設計是否能夠提高模型的性能呢？\n\n### 消融實驗 - 啟動函數\n\n![ablation](/content/papers/assets/f29821a121059b3b7b83d3ad74e7a644a69a169118d88cb6dd82b78bc79b7f3b.jpg)\n\n上表顯示了 VanillaNet 使用不同數量的 n 的效能。\n\n當 $n=0$、不聚合鄰域時，在這組 ImageNet 實驗中達到 60.53% top-1 準確率；論文將此設定視為普通 ReLU 對照。\n\n當 n = 1 時，精度提高到 74.53%，這裡出現了一個巨大的進步；當 n = 3 時，精度和推論速度達到一個最好的權衡點。\n\n### 消融實驗 - 深度訓練策略\n\n![ablation_2](/content/papers/assets/af8193cb18bf06839daf2b28171580429aeaf10bc0f4b6a1724444967960fb06.jpg)\n\n由於 VanillaNet 結構非常淺層，作者提出增加訓練中的非線性來提升其性能。\n\n上表分析了所提出的深度訓練技術的有效性：已使用序列啟動函數、但未使用深度訓練的 VanillaNet-6 達到 75.23% top-1 準確率；再加上深度訓練達到 76.36%。這組對照顯示，深度訓練對這個淺層網路有幫助。\n\n此外，作者進一步將深度訓練和序列啟動函數應用到其他網路中，以展示這兩種技術的泛化能力。\n\n上表報告了在 ImageNet 數據集上，兩個經典深度神經網路 AlexNet 和 ResNet-50 的結果。原始的 AlexNet 僅能達到 57.52% 的準確率（12 層結構）。\n\n同時應用深度訓練和序列啟動函數後，AlexNet 達到 63.59%，比原始配置高 6.07 個百分點，顯示這兩項技術在此淺層網路上有效。\n\n對於結構相對複雜的 ResNet-50，同時加入兩項技術後由 76.13% 升至 76.27%，還低於只加序列啟動函數的 76.30%。作者據此推測，深層網路原有的非線性已較足夠。\n\n### 消融實驗 - 殘差連接\n\n![ablation_3](/content/papers/assets/649903a82e1a9c0192d9d896c8b2582c4c04cc0df0ca352d63f7841d149ee98b.jpg)\n\n最後，一般網路結構所流行的殘差連接的效果如何呢？\n\n在 VanillaNet-6 這組消融中，加入啟動函數前或後的捷徑，top-1 準確率都低於不加捷徑的 76.36%。\n\n作者的解釋是，此處瓶頸可能是「弱非線性」，而捷徑跳過部分啟動函數，無助於提升非線性；這是對該組結果的解讀。\n\n### ImageNet 上的性能\n\n![imagenet_1](/content/papers/assets/19fce98409e4d1ebb995a65f3dbf76d01ac0620d287439fd8644de25727d5a5b.jpg)\n\n為了說明所提出方法的有效性，作者在 ImageNet 資料集上進行了實驗。\n\n這組比較使用 224 × 224 像素的 RGB 輸入；ImageNet-1K 包含 128 萬張訓練影像和 5 萬張驗證影像，涵蓋 1000 個類別。他們利用強正則化，因為所提出的 VanillaNet 每層都有大量參數，可以從非線性有限的影像中捕捉有用的信息。\n\n延遲測試在 Nvidia A100 GPU 上進行，並且作者提出了具有不同層數的 VanillaNet 架構。為了驗證這些架構的性能，他們以 batch size 為 1 進行測試，這意味著 AI 晶片有足夠的運算能力來處理每個網路。\n\n在這種情況下，研究發現推理速度與 FLOPs 數量和參數的關係不大。例如：雖然 MobileNetV3-Large 的 FLOPs 非常低（0.22B），但其 GPU 延遲為 7.83ms，甚至比具有 11.9B FLOPs 的 VanillaNet-13 還要高。\n\n研究顯示，在這種設置下，推理速度與網路的複雜度和層數高度相關。例如，ShuffleNetV2x1.5 和 ShuffleNetV2x2 的推理速度差異不大（7.23ms 和 7.84ms），儘管它們的參數數量和 FLOPs 相差很大（0.3B vs 0.6B），這是因為它們的差異僅在於通道數量。\n\n在表中，VGGNet 和 VanillaNet 等結構較直接的模型有較低延遲；ResNet 雖有殘差分支，其部分配置也比許多複雜模型快。這是該 A100、batch size 1 測試下的比較結果。\n\n![imagenet_2](/content/papers/assets/325c3ef11e96abc33ae688af6fc006b33bd2f0255d12ed82e5c9e11cefd30fef.jpg)\n\n## 結論\n\nVanillaNet 憑藉在效率和準確性方面的複雜架構超越了當代網路，凸顯了深度學習中極簡方法的潛力。\n\n這項研究挑戰了基礎模型的既定規範，並為精細和有效的模型架構建立了新的軌跡。\n","imageSizes":{"/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg":{"width":1526,"height":600},"/content/papers/assets/f29821a121059b3b7b83d3ad74e7a644a69a169118d88cb6dd82b78bc79b7f3b.jpg":{"width":910,"height":342},"/content/papers/assets/af8193cb18bf06839daf2b28171580429aeaf10bc0f4b6a1724444967960fb06.jpg":{"width":1220,"height":816},"/content/papers/assets/649903a82e1a9c0192d9d896c8b2582c4c04cc0df0ca352d63f7841d149ee98b.jpg":{"width":1194,"height":390},"/content/papers/assets/19fce98409e4d1ebb995a65f3dbf76d01ac0620d287439fd8644de25727d5a5b.jpg":{"width":1036,"height":1080},"/content/papers/assets/325c3ef11e96abc33ae688af6fc006b33bd2f0255d12ed82e5c9e11cefd30fef.jpg":{"width":1350,"height":660}}}
