返回論文筆記資料庫
arXiv 2017CVPR 2018經典卷積網路論文筆記

NASNet

搜索網路架構

原始論文

Learning Transferable Architectures for Scalable Image Recognition

論文作者

Barret Zoph · Vijay Vasudevan · Jonathon Shlens · Quoc V. Le

發表版本
CVPR 2018會議
arXiv 首次提交
arXiv:1707.07012
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{classiccnnsnasnet2017,
  title = {{Learning Transferable Architectures for Scalable Image Recognition}},
  author = {Barret Zoph and Vijay Vasudevan and Jonathon Shlens and Quoc V. Le},
  year = {2017},
  eprint = {1707.07012},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1707.07012}
}
本頁內容

當你拿到一根鎚子,你看什麼都像是釘子。

*

從深度學習神經網路開始流行之後,如何構建一個有效的網路架構就成為了一個重要的問題。

為了解決這個問題,研究人員提出了許多自動搜索網路架構(Neural Architecture Search, NAS)的方法。

而其中的佼佼者就是 Google 團隊,你可以在各個地方看到他們拿著 NAS 技術在各種地方搜索。

定義問題

從 AlexNet 流行起來,到現在的過去幾年間,各種不同網路架構蓬勃發展。

然而,這些網路架構的設計通常是基於經驗和直覺,而非嚴格的理論基礎。

這導致了許多問題,例如:

  • 人們不知道哪些網路架構是最好的。
  • 設計網路架構需要大量的專業知識和經驗。
  • 網路架構的設計過程通常是耗時且耗費資源。

理論基礎的部分在這裡先撇開不談,本篇論文要提出一個自動搜索網路架構的方法,而這個方法可以幫助我們解決上述的「部分」問題。

解決問題

可遷移架構

在現階段中,所有論文的目標都是一致的:就是在 ImageNet 資料集上達到最佳的性能。

但是 ImageNet 太大了,如果直接在 ImageNet 上搜索適合的網路架構,會消耗非常可觀的資源。

因此,在本篇論文中提出先在 CIFAR-10 資料集上搜索適合的網路架構,然後再將這個網路架構遷移到 ImageNet 上。

基礎結構

作者提出了兩個可以用來構建網路架構的基礎結構:

  1. Normal Cell:主要功能是維持輸入特徵圖的維度(即高度和寬度)。這樣的設計確保了特徵提取過程中空間信息的完整性,有助於深層網路中信息的有效傳遞。
  2. Reduction Cell:主要功能是減少特徵圖的空間維度,具體是將高度和寬度縮小一半。這通過將步長設置為 2 來實現,有效地降低了計算量並增加了模型的抽象能力。

雖然 Reduction 和 Normal Cell 可以有相同的架構,但根據經驗,學習兩種獨立的架構是有益的。

此外,每次減少空間維度時,為保持信息密度,作者通過加倍濾波器的數量來補償信息的損失。

這種設計靈感來自於 Inception 和 ResNet 結構,其中層次的深度和濾波器的數量根據具體的應用需求進行調整。

搜索過程

在搜索空間中,每個卷積單元接收兩個初始隱藏狀態 hih_i 和 hi−1h_{i-1},這兩個狀態來自於前兩個較低層的單元輸出或是輸入圖像。

整個搜索過程會透過 RNN 來進行,RNN 會預測卷積單元的結構,並且根據預測結果來生成新的隱藏狀態。

  • RNN 的預測過程

    RNN 會遞歸地預測卷積單元的結構,根據以下步驟:

    1. 選擇隱藏狀態:從 hih_i、hi−1h_{i-1} 或前面區塊生成的隱藏狀態集中選擇一個隱藏狀態。
    2. 選擇第二個隱藏狀態:從與步驟 1 相同的選項中選擇第二個隱藏狀態。
    3. 選擇操作:對於步驟 1 選擇的隱藏狀態,選擇一個操作進行處理。
    4. 選擇第二個操作:對於步驟 2 選擇的隱藏狀態,同樣選擇一個操作進行處理。
    5. 合併輸出:選擇一種方法來結合步驟 3 和 4 的輸出以產生新的隱藏狀態。
  • 預測步驟的重複與區塊

    RNN 將上述 5 個預測步驟重複 B 次,對應於卷積單元中的 B 個區塊。

    在實驗中,選擇 B=5 通常能提供良好的結果。

    每一輪的預測都將新建立的隱藏狀態添加到現有隱藏狀態集合中,作為後續區塊中的潛在輸入。

  • 操作選擇

    RNN 從以下操作中進行選擇,這些操作基於它們在 CNN 文獻中的普及度:

    • identity
    • 1x3 then 3x1 convolution
    • 1x7 then 7x1 convolution
    • 3x3 dilated convolution
    • 3x3 average pooling
    • 3x3 max pooling
    • 5x5 max pooling
    • 7x7 max pooling
    • 1x1 convolution
    • 3x3 convolution
    • 3x3 depthwise separable convolution
    • 5x5 depthwise separable convolution
    • 7x7 depthwise separable convolution
  • 合併方法

    在步驟 5 中, RNN 選擇合併兩個隱藏狀態的方法,可能是兩個隱藏狀態之間的元素級加法或沿著過濾器維度的串聯。

    最後,卷積單元會將未被後續區塊使用的隱藏狀態沿著通道維度串聯,形成單元輸出。

DropPath 模組

在過去的文獻中,DropPath 技術可以用來防止過擬合,並且可以提高模型的泛化能力。

在本篇論文中,作者將 DropPath 技術應用到了搜索過程中,發現沒用。

於是改進了 DropPath 技術,並稱之為 ScheduledDropPath,這個技術會在訓練過程中「線性增加」丟棄模組的機率,實驗效果良好!

搜索實驗結果

最終作者在 CIFAR-10 資料集上搜索到了一個有效的網路架構,如上圖。

這張圖看起來很複雜,但仔細看的話其實很好理解:

  • 虛線與實線標示不同的輸入連接;每個區塊先對選出的兩個隱藏狀態各做一次操作,再合併輸出。最後將未被後續區塊使用的狀態串聯,得到 hi+1h_{i+1}。
  • 左圖是維持空間尺寸的 Normal Cell,右圖是縮小空間尺寸的 Reduction Cell;建構網路時會依位置使用這兩種單元。

討論

在 CIFAR-10 上的結果

從表中可以看出,具有剪切資料增強的大型 NASNet-A 模型實現了 2.40% 的最先進錯誤率(5 次運行的平均值),略優於之前的最佳水平記錄為 2.56%。

作者提到,他們最佳單次運行錯誤率達到 2.19%。

遷移架構到 ImageNet

這裡遷移的只有網路結構,模型的部分是重新訓練的。

從上面表格可以看出,NASNet 在多組對照中以較少的運算量和參數取得更高的準確率;但並非每組對照的兩項成本都較低。

最大的模型以單模型預測在 ImageNet 上達到 82.7% 的 Top-1 準確率,比先前發布的最佳結果(DPN-131)高約 1.2 個百分點。

在行動裝置上的評比

在之前的研究中,MobileNet 和 ShuffleNet 提供了最先進的結果,使用 ~550M 乘加操作在 224x224 影像上分別獲得了 70.6% 和 70.9% 的準確率。

而由 NASNet 所建構的架構,在計算需求相當的前提下,實現了超越先前模型的預測性能,達到 74.0% 準確率。

結論

在本篇論文中,研究了一個直接在感興趣的資料集上學習模型架構的方法。

通過設計能夠解耦架構複雜度與網路深度的搜尋空間,從影像分類任務中學習到可擴展的卷積單元。

這一方法提升了模型的適應性,允許其他沒有足夠算力的研究者可以直接採用這些由 NAS 找出來的單元架構。