返回論文筆記資料庫
ICMLA 2020arXiv 2022文字辨識論文筆記

SAFL

來點 Focal Loss 吧!

原始論文

SAFL: A Self-Attention Scene Text Recognizer with Focal Loss

論文作者

Bao Hieu Tran · Thanh Le-Cong · Huu Manh Nguyen · Duc Anh Le · Thanh Hung Nguyen · Phi Le Nguyen

發表版本
ICMLA 2020會議
arXiv 首次提交
arXiv:2201.00132
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitionsafl2022,
  title = {{SAFL: A Self-Attention Scene Text Recognizer with Focal Loss}},
  author = {Bao Hieu Tran and Thanh Le-Cong and Huu Manh Nguyen and Duc Anh Le and Thanh Hung Nguyen and Phi Le Nguyen},
  year = {2022},
  eprint = {2201.00132},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2201.00132}
}
本頁內容

最近愈來愈多 Transformer 的架構出現在 STR 的領域。

做研究總是得找點樂子,這次作者把 Focal Loss 拿來試試看,看看能不能提升模型的效果。

定義問題

最常見的訓練方式大致上分兩種。

第一種是 CTC Loss,這種方式是直接將模型的輸出與標籤進行比對,並計算兩者之間的差異。它可以讓我們不需要對標籤進行對齊,直接給定輸出序列,讓模型自己去學習如何對齊,最後得到結果。

第二種是 CrossEntropy Loss,要使用這種損失函數,通常是使用一個解碼器的架構來對齊輸出與標籤。解碼器的選擇可以是一個 LSTM,或是一個 Transformer。

既然有了 CrossEntropy Loss,嘗試其他的損失函數就是一個很自然的想法。我們可以看一下隔壁的物件偵測領域,Focus Loss 好像蠻流行的,不妨就拿來試試看吧!

於是作者提出了 SAFL,一個使用 Focal Loss 作為損失函數的 STR 模型。

解決問題

模型架構

這次的架構很簡單,大部分的內容我們之前都看過了。

首先是一個使用 TPS 變換的校正網路,這個部分請參考:

接著由 CNN 提取特徵,再搭配 Transformer 編碼器與解碼器辨識字元,這個部分可以參考:

作者在最後把 CrossEntropy Loss 換成了 Focal Loss。

為什麼要換成 Focal Loss 呢?

Focal Loss

作者針對訓練資料的字元分佈進行了分析,發現有些字元出現的頻率非常高,而有些字元出現的頻率非常低。作者認為,這樣的分佈可能讓模型偏向容易辨識的高頻樣本,而較少學好低頻樣本。

而 Focal Loss 則是一種可以減緩這個問題的損失函數,其公式如下:

FL(pt)=−αt(1−pt)γlog⁡(pt)\text{FL}(p_t) = -\alpha_t(1 - p_t)^\gamma \log(p_t)

其中 ptp_t 是模型對正確字元的預測機率,αt\alpha_t 和 γ\gamma 是可調參數。當 ptp_t 越接近 1 時,(1−pt)γ(1-p_t)^\gamma 越小,使模型更重視難以預測的字元;這可能有助於低頻樣本,其權重依預測難度調整。

這篇論文我們之前也讀過了,可以參考這篇:

討論

Focal Loss 效果好嗎?

如上表,使用 Focal Loss 的模型在所有數據集上都優於使用 CrossEntropy Loss 的模型。

依表中的平均值,Focal Loss 將準確率從 86.9% 提高到 88.2%,相差 1.3 個百分點;論文正文所寫的 2.3% 與表格不符。差距最大的是 CUTE,從 80.6% 到 85.4%,相差 4.8 個百分點。

結論

在這篇論文中,作者利用自注意機制和 Focal Loss 的場景文本辨識深度學習模型。

實驗結果表明,SAFL 在常規數據集和不規則數據集上均取得了最高的平均準確率。