On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention
- 發表版本
- CVPR Workshops 2020研討會(Workshop)
- arXiv 首次提交
- arXiv:1910.04396
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{textrecognitionsatrn2019,
title = {{On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention}},
author = {Junyeop Lee and Sungrae Park and Jeonghun Baek and Seong Joon Oh and Seonghyeon Kim and Hwalsuk Lee},
year = {2019},
eprint = {1910.04396},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1910.04396}
}
Transformer 在發表後的幾年間,這陣風也陸續吹進了不同的領域。
這篇論文是 Clova AI 發表的,他們也想將 Transformer 的優勢引入 Scene Text Recognition (STR) 領域,或許能解決一些問題。
定義問題
任意形狀的文字仍困擾著廣大的研究者們。
雖然在過去幾年間,陸續有人提出一些解決方案,但這些方法的表現仍然不夠理想。特別是多數研究都還是基於文字水平排列的假設,這導致模型無法的泛化能力有限。
此時此刻,Transformer 已經發表了兩年多,BERT 已經在 NLP 領域大殺四方,作者想著:或許 Transformer 的注意力機制能夠幫助我們解決這個問題。
解決問題
模型架構
作者提出了模型架構,看起來就是一個標準的 Transformer,但針對 STR 任務進行了一些改良。Transformer 的架構我們不再重複討論了,如果你對它不熟悉,可以參考:
在編碼器的部分,輸入影像首先經過淺層卷積神經網路 (CNN) 提取局部圖像模式與紋理,以減輕自注意力模組的計算負擔。此 CNN 包含兩個 卷積層,每層後面各接一個步長為 2 的 最大池化層。
自注意力模組基於 Transformer 自注意力,並使用自適應 2D 位置編碼,以處理文字的隨機排列問題。
FFN 的部分,作者提出了一個新的局部感知前饋層 (Locality-aware Feedforward Layer),以增強對局部結構的關注:在原生的點對點前饋層中加入 深度卷積,保留 卷積來處理通道。
解碼器的部分,從編碼器的 2D 特徵圖中提取文字序列。
解碼過程中,圖像輸入與文字輸出的跨模態在第二個多頭注意力模組中實現。解碼器的結構大部分與 Transformer 解碼器相同,主要使用多頭注意力和點對點前饋層。
討論
和先前方法的比較
SATRN 相較於表中其他 2D 特徵圖方法,在有報告成績的基準測試上表現更佳。三個不規則文字測試集 IC15、SVTP、CT80,相對各欄先前最高成績分別提升 2.1、6.9、4.5 個百分點。
這個架構在處理任意形狀的文字辨識上具有優勢;但在一般文字的 IIIT5K 和 SVT,使用空間變換網路(STN)的 ASTER 成績仍高於 SATRN。
和 SAR 模型的比較
SATRN 與 SAR 模型在編碼器(自注意力 vs 卷積網路)與解碼器(自注意力 vs LSTM)上有顯著區別。SAR 使用 ResNet 編碼器與 LSTM 解碼器,而 SATRN 採用了自注意力編碼器與解碼器。
只將 SAR 的 ResNet 編碼器換成 SATRN 編碼器時,搭配 LSTM 或 SATRN 解碼器,準確率分別提升 1.0 和 0.9 個百分點,且都減少了 1200 萬參數和 5.5B FLOPs。完整 SATRN 相比 SAR 則是 89.2% 對 87.9%,但 FLOPs 從 21.9B 增至 35.9B。
多行文本辨識
為了更具體地評估模型在不同形狀扭曲下的表現,作者另外測試了旋轉與多行文字。
旋轉文字的部分,作者使用了從 0° 到 360° 均勻分布的旋轉進行訓練,並將輸入圖像調整為 64×64 尺寸;多行文字的部分,作者使用合成文字資料集(SynthText 與 MJSynth)進行模型訓練,並從 IC13 中手動裁剪出多行文字圖像用於測試。
在實驗中,SATRN 在所有旋轉角度下的表現都優於基準模型 FAN 和 SAR,並且在各種旋轉角度下保持穩定的性能。在多行文字辨識上,SATRN 在推理過程中能夠進行大範圍跳轉,從當前行轉移到下一行,展現了其優異的表現。
下圖展示 SATRN 解碼器在提取 2D 特徵時的注意力圖:
消融研究
- 自適應 2D 位置編碼 (A2DPE):相比不使用位置編碼、1D 位置編碼和 2D 拼接編碼,A2DPE 在這組消融中準確率最高(86.5%),會依影像特徵調整高、寬位置編碼的權重。
- 特徵圖高度的影響:隨著特徵圖的尺寸縮減,運算量與準確度均下降,尤其當高度下採樣率超過 1/8 時,準確度急劇下降,這強調了在計算過程中保持 2D 特徵圖的重要性。
結論
SATRN 驗證了在 STR 任務中使用 Transformer 的有效性,並且在多項基準測試中都達到了新的最先進表現,平均提升 5.7 個百分點。
雖然 SATRN 提升了準確度,但自注意力層的使用導致模型在記憶體和運算需求上有所增加,特別是解碼器部分增加了顯著的 FLOPs 和參數量,但這顯然不是問題!
後續研究可以進一步研究如何減少模型的計算量,以應用於更多的實際應用場景。