SAFL: A Self-Attention Scene Text Recognizer with Focal Loss
- 發表版本
- ICMLA 2020會議
- arXiv 首次提交
- arXiv:2201.00132
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{textrecognitionsafl2022,
title = {{SAFL: A Self-Attention Scene Text Recognizer with Focal Loss}},
author = {Bao Hieu Tran and Thanh Le-Cong and Huu Manh Nguyen and Duc Anh Le and Thanh Hung Nguyen and Phi Le Nguyen},
year = {2022},
eprint = {2201.00132},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2201.00132}
}
最近愈來愈多 Transformer 的架構出現在 STR 的領域。
做研究總是得找點樂子,這次作者把 Focal Loss 拿來試試看,看看能不能提升模型的效果。
定義問題
最常見的訓練方式大致上分兩種。
第一種是 CTC Loss,這種方式是直接將模型的輸出與標籤進行比對,並計算兩者之間的差異。它可以讓我們不需要對標籤進行對齊,直接給定輸出序列,讓模型自己去學習如何對齊,最後得到結果。
第二種是 CrossEntropy Loss,要使用這種損失函數,通常是使用一個解碼器的架構來對齊輸出與標籤。解碼器的選擇可以是一個 LSTM,或是一個 Transformer。
既然有了 CrossEntropy Loss,嘗試其他的損失函數就是一個很自然的想法。我們可以看一下隔壁的物件偵測領域,Focus Loss 好像蠻流行的,不妨就拿來試試看吧!
於是作者提出了 SAFL,一個使用 Focal Loss 作為損失函數的 STR 模型。
解決問題
模型架構
這次的架構很簡單,大部分的內容我們之前都看過了。
首先是一個使用 TPS 變換的校正網路,這個部分請參考:
接著由 CNN 提取特徵,再搭配 Transformer 編碼器與解碼器辨識字元,這個部分可以參考:
作者在最後把 CrossEntropy Loss 換成了 Focal Loss。
為什麼要換成 Focal Loss 呢?
Focal Loss
作者針對訓練資料的字元分佈進行了分析,發現有些字元出現的頻率非常高,而有些字元出現的頻率非常低。作者認為,這樣的分佈可能讓模型偏向容易辨識的高頻樣本,而較少學好低頻樣本。
而 Focal Loss 則是一種可以減緩這個問題的損失函數,其公式如下:
其中 是模型對正確字元的預測機率, 和 是可調參數。當 越接近 1 時, 越小,使模型更重視難以預測的字元;這可能有助於低頻樣本,其權重依預測難度調整。
這篇論文我們之前也讀過了,可以參考這篇:
討論
Focal Loss 效果好嗎?
如上表,使用 Focal Loss 的模型在所有數據集上都優於使用 CrossEntropy Loss 的模型。
依表中的平均值,Focal Loss 將準確率從 86.9% 提高到 88.2%,相差 1.3 個百分點;論文正文所寫的 2.3% 與表格不符。差距最大的是 CUTE,從 80.6% 到 85.4%,相差 4.8 個百分點。
結論
在這篇論文中,作者利用自注意機制和 Focal Loss 的場景文本辨識深度學習模型。
實驗結果表明,SAFL 在常規數據集和不規則數據集上均取得了最高的平均準確率。