返回論文筆記資料庫
arXiv 2021文字辨識論文筆記

YATR

假的真不了

原始論文

Why You Should Try the Real Data for the Scene Text Recognition

論文作者

Vladimir Loginov

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2107.13938
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitionyatr2021,
  title = {{Why You Should Try the Real Data for the Scene Text Recognition}},
  author = {Vladimir Loginov},
  year = {2021},
  eprint = {2107.13938},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2107.13938}
}
本頁內容

在 STR 領域,絕大多數的模型都是從合成資料開始的。

標準的做法是先使用合成資料進行預訓練,接著可以選擇直接在驗證資料集上進行評估。或是用小規模的真實資料進行微調後再進行評估。

定義問題

我們都不會否認真實資料的重要性,因為合成資料必須基於某些特定的生成規則,可能是選擇某些字型,噪音的添加,或是背景的選擇。

凡有規則必有例外,這些例外可能是合成資料無法涵蓋的,這些例外可能會對模型的泛化能力造成影響。而且對於真實世界來說,合成資料才是例外,真實資料才是規則。

用例外來擬合規則,然後跟你說這種模型有很好的泛化能力,你敢信?

這篇論文的作者認為合成資料和真實資料互相結合才是最好的訓練資料。

解決問題

模型架構

作者架構參考了 WWWSTR 的方法:

但不再將最後兩個階段分開,文字辨識的最後階段包含序列建模與最終預測。

影像校正部分使用 ASTER 中的 Thin Plate Spline (TPS) 技術:

TPS 的空間變換機制分為三部分:

  1. 定位網路:首先對輸入影像生成空間變換參數。
  2. 網格生成器:根據預測參數生成一組取樣網格點,用以標示輸入影像應被取樣的位置。
  3. 取樣器:利用網格和輸入影像生成最終的輸出影像。

TPS 設計的優勢在於不需要逐字母的標註,因此可以在多種文字辨識架構中直接使用,且其參數可透過端到端方式學習。

Backbone 的部分採用 ImageNet 預訓練的 ResNeXt-101,但移除最後一個階段;作者選這個配置,是因為實驗中的準確率與效能取捨較好。

最後是文字辨識頭,使用二維注意力圖搭配 GRU 作為解碼器。

討論

真實資料的重要性

作者使用了合成資料集和真實資料集進行訓練,所有實驗在相同條件下進行:ResNeXt-101 作為主幹網路,不區分大小寫的訓練和測試模式,並且本次實驗沒有使用 TPS 模組。

結果如上表,在這組不使用 TPS 的實驗中,MJSynth 搭配 OpenImagesV5 在六個測試集都高於僅用合成資料。若只用 OpenImagesV5,成績比這個混合組合低,但仍高於僅用 MJSynth。作者推測真實資料更具挑戰性,可能需要更長的訓練週期;這是可能原因,表格本身沒有驗證訓練時長。

這張表中最好的實驗表現是 MJSynth + OpenImagesV5,也是作者在本文採用的訓練資料組合。

拿 ViTSTR 試試看

為了驗證真實資料的重要性,作者使用了 ViTSTR 進行實驗,ViTSTR 是一種基於 Transformer 的文字辨識模型。

這篇文章我們也有提到,可以參考:

作者使用了合成資料集和真實資料集進行訓練,結果如下表:

從實驗結果可以看到,在兩個 ViTSTR-Tiny 模型都使用資料增強、相同測試條件下,將訓練批次的 20% 換成 OpenImagesV5 後,六個測試集的準確率都有提升;IC03 是 93.7→95.6(+1.9 個百分點),IC15 是 66.6→77.0(+10.4 個百分點),並非每個資料集都約提升 5%。這組比較顯示,即使基線已使用影像增強,加入真實資料仍有幫助。

結論

使用合成資料搭配真實資料,可以提升文字辨識模型的泛化能力。

你可能認為這是一個常識,不需要再另外寫一篇論文來證明。但我們並無法得知:「到底影響有多大?」

以後如果有人再問你:「為什麼要用真實資料?具體差距是多少?」,我們認為這篇論文可以直接用來回答這個問題。