返回論文筆記資料庫
arXiv 2018AAAI 2019文字辨識論文筆記

SAR

二維注意力圖

原始論文

Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition

論文作者

Hui Li · Peng Wang · Chunhua Shen · Guyu Zhang

發表版本
AAAI 2019會議
arXiv 首次提交
arXiv:1811.00751
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitionsar2018,
  title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},
  author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},
  year = {2018},
  eprint = {1811.00751},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1811.00751}
}
本頁內容

大幅度的彎曲文字帶給辨識模型相當大的困難,在過去雖然已經有一些方法開始嘗試解決這個問題,像是使用 STN 網路來進行幾何校正等,但效果有限。

定義問題

回顧一下之前的解題方式,在面對不規則文字辨識的問題時,大概可以分為三個方向:

  1. 使用校正算法:比較有代表性的方法像是 RARE,他們透過 STN 網路來進行幾何校正,但扭曲嚴重的文字仍然難以處理。

  2. 使用注意力:在解碼文字的時候讓模型可以選擇局部的 2D 特徵,但在訓練時需要給予字元的監督資訊,訓練資料型態較為受限。

  3. 多方向編碼:這個方法是從四個方向上對任意方向的文字進行編碼,但架構設計比較複雜。


看了一圈,作者還是喜歡簡單的方法。

回到基於注意力的編碼器-解碼器的框架,作者基於 ResNet 和 LSTM 的架構,搭配客製化的二維注意力模組來解決不規則文字辨識的問題。

解決問題

模型架構

如上架構圖,在 Backbone 的部分作者選用 ResNet-31 作為特徵提取器。後續會直接使用 2D 的特徵圖;其中一層採用 1×2 最大池化,讓水平方向保留較多資訊。

編碼器

得到特徵圖之後,首先使用 LSTM 對影像進行編碼。

我們也都知道 LSTM 是用來處理一維的序列資料,因此這裡作者對特徵圖的「高度」取最大池化,壓縮成一維的序列資料,再輸入到 LSTM 中。

這裡的 LSTM 帶有兩層,每層有 512 個隱藏單元,從圖中來看,這是一個單向的 LSTM。

解碼器

解碼器的部分還是 LSTM。

如上圖所示,這裡就是作者所提出的主要貢獻點:如果我們把「2D convolution feature map V」的部分拿掉,那就是一個基本的 LSTM 解碼器。

這裡解碼器先接收編碼器最後的隱藏狀態;在每個解碼階段,再以當前隱藏狀態對 2D 特徵圖計算注意力權重,選擇需要的局部特徵。

這裡的 LSTM 也是兩層,每層 512 個隱藏單元。編碼器和解碼器的參數各自獨立,沒有共享。在訓練的時候是使用 Teacher Forcing 的方式,而在推論的時候會改成使用前一個時間點的預測結果。

2D 注意力圖

為了彌補傳統 2D 注意力機制的不足,作者提出了一種新的針對 2D 空間關係的注意力機制:

對於每個位置 (i,j)(i, j),在計算其注意力權重時,將 相鄰位置 的資訊納入考量。這些相鄰位置來自於位置 (i,j)(i, j) 的 八鄰域。

注意力的分數 eije_{ij} 由下列公式計算:

eij=tanh⁡(Wvvij+∑p,q∈NijW~p−i,q−j⋅vpq+Whht′)e_{ij} = \tanh(W_v v_{ij} + \sum_{p,q \in N_{ij}} \tilde{W}_{p-i, q-j} \cdot v_{pq} + W_h h'_t)

其中:

  • vijv_{ij} 是位置 (i,j)(i, j) 的局部特徵向量。
  • NijN_{ij} 表示位置 (i,j)(i, j) 周圍的八鄰域。
  • ht′h'_t 是解碼器 LSTM 在時間步 tt 的隱藏狀態,作為注意力引導訊號。
  • Wv,WhW_v, W_h 和 W~\tilde{W} 是需要學習的線性轉換矩陣。

使用 softmax 函數計算注意力權重 αij\alpha_{ij}:

αij=softmax(weT⋅eij)\alpha_{ij} = \text{softmax}(w_e^T \cdot e_{ij})

計算當前時間步 tt 的注意力加權和(glimpse)gtg_t:

gt=∑i,jαijvij,i=1,…,H,j=1,…,Wg_t = \sum_{i,j} \alpha_{ij} v_{ij}, \quad i = 1, \ldots, H, \quad j = 1, \ldots, W

其中 HH 和 WW 分別是特徵圖的高度和寬度。

相較於傳統的注意力機制,這裡增加了一項八鄰域的加權和項 ,用來考慮鄰近位置的影響。這樣的改進使得模型能夠捕捉到局部特徵之間的空間關係。

討論

與其他方法的比較

在表中的不規則文字數據集(IC15、SVTP、CT80 和 COCO-T),SAR 在各項所列設定都取得最高準確率。

  • 在 SVTP-None 上,比 Liu、Chen 和 Wong(2018)的 78.9% 高 7.5 個百分點,達到 86.4%。
  • 在 CT80 上,比 Shi 等人(2018)的 79.5% 高 10.1 個百分點,達到 89.6%。

在規則文字數據集(如 IIIT5K、SVT 和 IC13)上,SAR 也有競爭力:無詞彙表的 IIIT5K 為 95.0%,但 SVT 和 IC13 的 91.2%、94.0% 並非表中最高。

當無詞彙表時,SAR 在 IIIT5K 和 SVTP 取得表中最高的 95.0% 和 86.4%。表中帶 * 的方法還使用了字元級標註,比較訓練資料時要把這點算進去。

可視化展示

作者將 SAR 的 2D 注意力模型和傳統 2D 注意力模型作比較。

解碼後的字元顯示在對應注意力熱圖的左側,錯誤的字元標記為紅色。在圖中的兩個例子,SAR 的注意力位置與辨識結果都比傳統 2D 注意力模型準確。

結論

SAR 展現了該模型在規則與不規則文字辨識任務中的卓越性能。同時,它也為未來的改進提供了多個可能的方向,特別是在加速訓練過程和更好地處理複雜文字結構上有很大的發展潛力。

後續有幾篇研究以 SAR 作為基礎比較對象,我們之後再接著聊。