返回論文筆記資料庫
arXiv 2021ICLR 2023視覺 Transformer論文筆記

CPVT

條件位置編碼

原始論文

Conditional Positional Encodings for Vision Transformers

論文作者

Xiangxiang Chu · Zhi Tian · Bo Zhang · Xinlong Wang · Chunhua Shen

發表版本
ICLR 2023會議
arXiv 首次提交
arXiv:2102.10882
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{visiontransformerscpvt2021,
  title = {{Conditional Positional Encodings for Vision Transformers}},
  author = {Xiangxiang Chu and Zhi Tian and Bo Zhang and Xinlong Wang and Chunhua Shen},
  year = {2021},
  eprint = {2102.10882},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2102.10882}
}
本頁內容

ViT 提出後不久,各方面的研究紛至沓來。

如果你也常在使用 ViT 相關的架構,你一定也會有相同的困擾:這個「可學習式」的位置編碼,真的很難用啊!

定義問題

在 ViT 中,輸入影像會被切割成固定大小的圖像區塊,這些區塊會與對應的可學習絕對位置編碼相加。然而,這種位置編碼方式存在兩個主要問題:

序列拓展

絕對位置編碼的長度是固定的,這限制了模型處理比學習到的位置編碼更長的序列。

對於這個問題,或許我們可以直接捨棄位置編碼?

  • 答案是不行!

捨棄位置編碼會大幅降低模型的性能,在 DeiT 的論文中已經做過這個實驗了, DeiT-tiny 模型在 ImageNet 上的準確率從 72.2% 驟降至 68.2%,可說是災難性的下降。

這其實不難理解,因為輸入序列的順序是很重要的線索,若沒有位置編碼,模型就無法獲取順序資訊。

平移等變性

平移等變性是指當物體在影像中移動時,模型的回應能夠相應改變。

在 ViT 架構中,每個區塊都會加上一個唯一的位置編碼,這使得模型失去了平移等變性,無法隨著物體在影像中的移動而產生相應變化。失去了這個特性,模型的性能會降低,特別是分類任務尤為明顯。

DeiT 模型的研究表明,可以通過插值技術將位置編碼延伸到與較長序列相同的長度,只是這種方法需要進行多輪微調,如果不做微調直接上,那模型的性能會大幅下降。

那改成相對位置編碼(Relative Positional Encoding, RPE)行不行?

  • 答案是:可以解決上面的兩個問題。

但是由於無法提供絕對位置的資訊,根據實驗數據,相對位置編碼的表現不如絕對位置編碼。

解決問題

條件位置編碼

為了解決上面提到的問題,作者提出了一種新的位置編碼方式:條件位置編碼(Conditional Positional Encodings, CPE)。

如上圖,最左邊的是原始的 ViT 架構,輸入影像經過 Patchify 之後,直接加上一個「可學習式」的絕對位置編碼。

中間的圖是作者提出的 CPE 架構,這裡的關鍵是:將位置編碼的計算過程放在了 Transformer 的 Encoder 中。

確切來說:是放在「第一層」 Encoder 之後,「第二層」 Encoder 之前。

位置編碼生成器

位置編碼生成器,在論文中名稱為:Positional Encoding Generator。

我們先撇開這個位置編碼放置的位置,單純來看一下這個 Generator 的結構:

  • 就是一個 Conv2d 卷積!

意思就是,影像拆成 Patch 並經過第一層 Encoder 後,先把特徵 token 排回二維網格(不包含 class token),再用卷積生成對應的位置編碼,最後加回特徵 token。

這個卷積層是有講究的,它必須有 Zero Padding!邊界上的 token 會因此遇到補零區域,讓模型取得一定程度的絕對位置線索;這也表示它不具嚴格的平移等變性。透過卷積的方式,模型就可以根據輸入特徵的局部鄰域,動態生成對應的位置編碼,也就是這篇論文標題提到的:條件位置編碼。

論文中有提供示意程式,我們可以看一下 PEG 的資料流:

python
import torch
import torch.nn as nn

class VisionTransformer:

    def __init__(self, layers=12, dim=192, nhead=3, img_size=224, patch_size=16):
        self.pos_block = PEG(dim)
        self.blocks = nn.ModuleList([
            TransformerEncoderLayer(dim, nhead, dim*4)
            for _ in range(layers)
        ])
        self.patch_embed = PatchEmbed(img_size, patch_size, dim*4)

    def forward_features(self, x):
        B, C, H, W = x.shape
        x, patch_size = self.patch_embed(x)
        _H, _W = H // patch_size, W // patch_size
        x = torch.cat((self.cls_tokens, x), dim=1)
        for i, blk in enumerate(self.blocks):
            x = blk(x)
            if i == 0:
                x = self.pos_block(x, _H, _W)
        return x[:, 0]

class PEG(nn.Module):

    def __init__(self, dim=256, k=3):
        # Only for demo use, more complicated functions are effective too.
        self.pos = nn.Conv2d(dim, dim, k, 1, k//2, groups=dim)

    def forward(self, x, H, W):
        B, N, C = x.shape
        cls_token, feat_tokens = x[:, 0], x[:, 1:]
        feat_tokens = feat_tokens.transpose(1, 2).view(B, C, H, W)
        x = self.pos(feat_tokens) + feat_tokens
        x = x.flatten(2).transpose(1, 2)
        x = torch.cat((cls_token.unsqueeze(1), x), dim=1)
        return x

你可以看到 PEG 的核心就是一個逐通道 Conv2d 卷積層:class token 先取出,特徵 token 卷積後與原特徵相加,再接回 class token。

模型訓練策略

為了驗證這個新的位置編碼方式,作者嚴格遵守 DeiT 的訓練策略,相關實驗配置如下:

  1. 資料集

    • 本研究使用 ImageNet 資料集,包含 1000 個類別及 130 萬張影像,進行模型訓練。
    • 評估結果則基於含有 5 萬張影像的驗證集。
    • 沒有使用更大的 JFT-300M 資料集。
  2. 模型變體

    • 針對不同的運算需求,作者設計了三個不同大小的模型。
    • 所有實驗均在 Tesla V100 機器上執行。
    • 訓練 Tiny 模型 300 個 epochs 約需 1.3 天(使用單一節點的 8 張 V100 GPU),CPVT-S 與 CPVT-B 模型則分別需要 1.6 天及 2.5 天。
  3. 訓練細節

    • 除了 CPVT-B 模型外,其餘模型均訓練 300 個 epochs,使用 Tesla V100 機器,批次大小為 2048。
    • 使用 AdamW 優化器進行訓練。

討論

PEG 的放置位置

剛才提到的「放置位置」,為什麼會放在 Encoder 的第一層之後,第二層之前?

作者嘗試將 PEG 放置於不同的模型位置,根據結果(上表左),當 PEG 放置於位置 0 或位置 3 時,模型的 Top-1 準確率分別為 72.4% 和 72.3%,表現最佳。將 PEG 放置於位置 0 比放置於 -1 的效果更好,顯示位置 0 的性能明顯優於位置 -1。

觀察到兩個位置的主要區別在於它們的接收場範圍不同:位置 0 的特徵已經過一層全域自注意力,而位置 -1 的特徵還沒有;若只使用局部卷積,後者看到的範圍較小。如果擴大卷積核的大小,兩者應該會有相似的效果。

為了驗證這一假設,作者在位置 -1 使用了較大的卷積核(27×27,填充大小為 13),結果顯示其性能(72.5%)與位置 0 的效果相似,證實了這一假設。

但增加卷積核的大小會增加計算量,因此作者選擇將 PEG 放置於位置 0,以獲得更好的性能。

PEG 的改進來自哪裡?

人們會懷疑 PEG 的改進來自於 PEG 中卷積層引入的額外可學習參數,而不是 PEG 保留的局部關係。為了測試 PEG 的主要作用,作者只在注意力層中使用 PEG 來計算 Q 和 K,以便僅傳遞 PEG 的位置信息。

在這個只讓 Q、K 使用 PEG 的實驗中,DeiT-tiny 的 Top-1 準確率達到了 71.3%,明顯優於無位置編碼的 DeiT-tiny(68.2%),也接近一般 PEG 的結果(72.4%)。作者據此認為,PEG 的作用不能只用新增可學習參數來解釋。

為了進一步排除 PEG 的性能提升是由於新增可學習參數,作者設計了另一個實驗:隨機初始化一個 3×3 的 PEG 並固定其權重,結果 Top-1 準確率達到了 71.3%,比無任何位置編碼的 DeiT-tiny 高出 3.1 個百分點。由於 PEG 的權重沒有更新,這個結果支持局部位置線索有幫助,而非只靠增加可學習參數。

相反地,當使用 12 層卷積層(卷積核大小為 1,即不產生局部關係)來替代 PEG 時,這些層的可學習參數遠多於 PEG,但性能僅提升了 0.4 個百分點,達到 68.6%。這進一步支持 PEG 的效果主要來自於局部位置線索,而非額外的參數。

泛化到更高解析度

如上表所示,PEG 能夠直接泛化到更大的影像尺寸,而無需進行微調。這點透過評估在 224 × 224 影像上訓練的模型於更大解析度(384 × 384、448 × 448、512 × 512)影像上的表現來證實。

DeiT-tiny 模型在使用 384 × 384 輸入影像時,若配備可學習的位置編碼,性能從 72.2% 降至 71.2%。當使用正弦編碼時,模型性能從 72.3% 降至 70.8%。

反觀 CPVT 模型配備 PEG 時,可以直接處理較大的輸入影像。表中放入五個 PEG 的 CPVT-Tiny(CPVT-Ti)從 224 × 224 的 73.4% 提升至 384 × 384 的 74.2%;只放一個 PEG 的版本則從 72.4% 升至 73.2%。在 384 × 384 下,前者比配備可學習位置編碼的 DeiT-tiny 高出 3.0 個百分點,且表中較大解析度的差距還會繼續擴大。

降低複雜度

在 PEG 中,若選擇深度卷積,其額外的參數數量為 d×l×k2d \times l \times k^2(其中 dd 是模型的維度,ll 是深度卷積的層數,kk 是卷積核大小)。如果使用可分離卷積,參數數量為 l(d2+k2d)l(d^2 + k^2d)。

以 CPVT-Tiny 為例,當 k=3k = 3 且 l=1l = 1 時(即模型維度 d=192d = 192),按上式不計偏置,PEG 帶來了 1,728 個參數。DeiT-tiny 模型使用可學習的位置編碼,參數數量為 192 × 14 × 14 = 37,632。

因此,單層逐通道 PEG 比 DeiT-tiny 的可學習位置編碼少 35,904 個參數。若改用單層可分離卷積,按上式為 1922+32×192=38,592192^2 + 3^2 \times 192 = 38,592 個,比 37,632 多 960 個;四層則不能沿用這個差值。這些位置編碼參數相對於約 5.7M 的模型參數仍是小量。

在 ImageNet 上的表現

與 DeiT 相比,表中 CPVT 多數配置的 ImageNet Top-1 準確率較高,V100 上的吞吐量相近。前面表 2 顯示,CPVT 在 384 × 384 的輸入下無需微調即可比 224 × 224 更準;繼續放大到 448 或 512 時,CPVT-Ti 的準確率也會下降,但仍高於相同解析度的 DeiT-tiny。

論文在當時報告,配備全局平均池化(GAP)的 CPVT 模型取得較高的 ImageNet Top-1 準確率;例如表中的五 PEG CPVT-Ti-GAP 為 74.9%,對應 DeiT-tiny 的 72.2%。

CPVT-Tiny 和 DeiT-tiny 模型在進行額外的硬蒸餾訓練後進行比較,硬蒸餾方法採用了 RegNetY-160 模型作為教師模型。CPVT 模型的 Top-1 準確率達到 75.9%,超過同樣蒸餾的 DeiT-tiny 1.4 個百分點。

和其他位置編碼的比較

最後作者比較了 PEG 與其他常見的位置編碼方式,並分析了 PEG 與絕對位置編碼(APE)和相對位置編碼(RPE)的組合效果。

  1. PEG 與其他位置編碼的比較

    • DeiT-tiny 模型使用可學習的絕對位置編碼(LE)達到 72.2%的 Top-1 準確率。
    • 使用 2D 正弦編碼的性能相當,達到相似的表現。
    • 當使用相對位置編碼(RPE,範圍超參數 K 設為 8),其 Top-1 準確率為 70.5%,低於 LE。RPE 不編碼絕對位置信息,這也是其性能較低的原因之一。
  2. PEG 與其他編碼結合的效果

    將可學習的絕對位置編碼與單層 PEG 結合,基準模型 CPVT-Ti 從 72.4% 提升到 72.9%。當在同一位置堆疊 4 層 PEG 並結合可學習編碼時,仍為 72.9%。如果改在前五個 Transformer 區塊後各放一個 PEG、不另加可學習編碼,準確率達到 73.4%。

結論

作者證明了 PEG 在處理長輸入序列和保持平移等變性時能顯著提升模型的表現,特別是在分類任務中,相較絕對位置編碼(APE)和相對位置編碼(RPE),PEG 展現出更優異的性能。

此外,PEG 的實現過程簡單,引入的額外計算成本和參數極少,使其成為一個有效且具實用價值的解決方案。