Vision Transformer for Fast and Efficient Scene Text Recognition
- 發表版本
- ICDAR 2021會議
- arXiv 首次提交
- arXiv:2105.08582
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{textrecognitionvitstr2021,
title = {{Vision Transformer for Fast and Efficient Scene Text Recognition}},
author = {Rowel Atienza},
year = {2021},
eprint = {2105.08582},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2105.08582}
}
ViT 架構已經廣為人知,但 STR 領域似乎還缺少了一個標誌性的用法。
定義問題
我們回過頭看一下經典的 STR 架構,大概是長這樣:
輸入一張影像,經過 CNN 提取特徵,然後進入 LSTM 進行序列解碼,最後經過一個預測模組來得到最終的預測結果。
當 Transformer 的架構提出後,研究者們開始將這個架構應用在這個領域,整體架構就演進成這樣:
編碼器的部分可能是一個 CNN,也可能是一個 Transformer,或其他算法都可以,但解碼器就一致地換成 Transformer decoder。
因為不管我們要不要用自回歸的方式做推論,至少在訓練的時候是可以平行拓展,不需要等待前一個時間點的結果,就效率來說要提升不少。
而作者認為既然都已經用了 Transformer 了,為什麼不直接在編碼後直接輸出結果呢?
看看隔壁棚的 ViT,它不就是這樣做的嗎?
我們只需要把架構改成這樣:
這樣改可以少掉一個 decoder,減少參數量,也不需要考慮自回歸的問題,是不是又快又好?
好不好還是得靠實驗來驗證。
解決問題
模型架構
作者提出了 ViTSTR,一個基於 ViT 的 STR 模型。主要差異在於預測頭部。ViT 用於單物件分類,而 ViTSTR 則用於辨識多個字元,需考慮正確的字元順序與長度。
輸入的圖像維度為 ,其中 和 為圖像高度和寬度, 為通道數。圖像被重新塑形為一個由平坦化 2D 覆蓋區域組成的序列 ,覆蓋區域的維度為 ,序列長度為 。
平坦化後的圖像區域被轉換為維度為 的嵌入,這是通過線性投影實現的;在序列前加上可學習的類別嵌入(對應輸出的 ),再為各位置加上位置編碼,形成輸入編碼器的向量。
ViTSTR 使用可學習的位置編碼,並在輸出時,提取最多文字長度加上兩個標記位置所需的特徵向量,平行預測各位置字元。 表示文本開始, 表示空格或結束,後者會在文字結尾重複;它們是預測序列中的符號,不是額外加在影像後面的兩個輸入 token。
模型訓練配置
作者共使用三種不同的模型配置如上表,分別是 ViTSTR-Tiny、ViTSTR-Small 和 ViTSTR-Base。三者都使用 12 層編碼器及 16 × 16 patch,差異在嵌入維度和注意力頭數;預測序列長度同為 27。
基準模型的訓練配置參數如下;ViTSTR 使用同一比較框架,但輸入尺寸另改為 224 × 224:
作者重做了幾個強大的基準模型,包括:CRNN、R2AM、GCRNN、Rosetta、RARE、STAR-Net 和 TRBA,以便和 ViTSTR 進行公平的比較。
每個模型至少訓練 5 次,使用不同的隨機種子,並保存測試資料集上表現最好的權重,以獲得平均評估分數。
ViTSTR 使用 DeiT 的預訓練權重,同時將輸入圖像的大小調整為 ,以符合 DeiT 預訓練模型的維度要求,訓練時沒有凍結任何參數。
討論
和其他模型的比較
訓練時搭配 RandAugment 影像增強方式,包括反轉、彎曲、模糊、噪聲、扭曲、旋轉、拉伸、壓縮、透視和縮小,如下圖:
在比較中,作者也同步比較了增強和未增強的效果:
在 ViTSTR-Tiny 上,平均準確率提升了 1.8 個百分點;在 ViTSTR-Small 上,提升了 1.6 個百分點;而在 ViTSTR-Base 上,提升了 1.5 個百分點。
在不規則資料集上,準確率的提升最為顯著:
| 資料集 | ViTSTR-Tiny (%) | ViTSTR-Small (%) | ViTSTR-Base (%) |
|---|---|---|---|
| CT | +9.2 | +6.6 | +6.6 |
| SVTP | +3.8 | +3.3 | +1.8 |
| IC15 1,811 | +2.7 | +2.6 | +1.7 |
| IC15 2,077 | +2.5 | +2.2 | +1.5 |
效能損耗
在場景文本辨識模型中,增加階段往往使準確率提升,也可能讓速度變慢、計算需求增加。例如,表中 TRBA 相較於 RARE,準確率高 2.2 個百分點,參數多 3880 萬個,每張圖片的處理時間多 4 毫秒;兩者並非只差一個階段。
當將 CTC 預測改為 Attention(如表中的 STAR-Net 與 TRBA),處理時間從每張圖片 8.8 毫秒增加到 22.8 毫秒,準確率提升 2.5 個百分點。表中列的是整體模型時間,無法單獨量出替換這個階段造成多少延遲。
在 ViTSTR 模型中,從 tiny 版本升級到 small 版本時,嵌入大小和多頭數量需要增加,但無需增加額外的階段。以未增強的結果來看,這樣的升級提升了 2.3 個百分點的準確率,代價是增加 1610 萬個參數。
從 tiny 版本升級到 base 版本時,未增強的準確率增加了 3.4 個百分點,但參數數量增加了 8040 萬。
儘管參數數量增加,ViTSTR 在這張 2080 Ti 測試表中的處理時間從 tiny 的 9.3、small 的 9.5 到 base 的 9.8 毫秒。編碼器中的 MLP 和 MSA 層仍使用相同類型的平行計算操作(如張量內積、softmax 和加法),相鄰版本增加了 0.2 到 0.3 毫秒。
與多階段 STR 模型相比,ViTSTR 擴大模型時沒有增加新階段;在這組硬體與輸入設定下,量到的延遲增量較小。
結論
ViTSTR 是一種簡單的單階段模型架構,強調準確性、速度和運算要求之間的平衡。透過針對 STR 的資料增強,ViTSTR 可以顯著提高準確性,尤其是對於不規則資料集。當擴大規模時,ViTSTR 保持在平衡精度、速度和計算要求的前沿。