An Empirical Study of Scaling Law for OCR
- 發表版本
- 正式發表資訊尚未核實
- arXiv 首次提交
- arXiv:2401.00028
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{textrecognitionocrscalinglaw2023,
title = {{An Empirical Study of Scaling Law for OCR}},
author = {Miao Rang and Zhenni Bi and Chuanjian Liu and Yunhe Wang and Kai Han},
year = {2023},
eprint = {2401.00028},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.00028}
}
早在幾年前,NLP 領域就有研究者嘗試在總結模型的縮放率,並整理了幾個簡單的公式。
時至今日,都已經 2024 年了,怎麼就沒有一篇論文在 OCR 領域提到這個問題呢?
於是華為的諾亞方舟實驗室接下了這個問題。
定義問題
我們首先得確認模型愈大愈好,後續的投入才有價值,畢竟沒有意義的事情不會得到投資人的青睞。
在 NLP 領域早在幾年前就已經初步探索了這個問題,而且後來又有更多更深入的研究,像是這幾篇:
這些研究都是基於 NLP 領域的,而 OCR 領域的研究者似乎對這個問題沒有太多的關注。
人們想投入資源,又擔心投資的風險,所以這裡需要一個研究來解決這個問題。
解決問題
這篇論文中沒有新的模型架構,作者制定實驗框架,分別從以下幾個角度來檢視模型的縮放率:
- 模型大小:指模型的參數量,範圍從 5000 萬到 10 億。
- 數據集大小:指訓練數據集的大小,範圍從 100 萬到 10 億樣本。
- 計算時間:指訓練模型所需的時間,範圍從 100 小時到 1000 小時。
這是論文在前言概述的研究範圍;下文各項實驗使用的模型與資料量仍以對應表格為準。
除此之外,作者引入一個新的數據集:REBU-Syn。這是本篇論文提出的數據集,其中結合真實數據和合成數據,資料從現有的公開數據集中整理而成。
模型規模化
首先要探討模型尺寸的問題。
這裡作者引用過去兩篇有名的研究:TrOCR 和 PARSeq。
TrOCR 是基於純 Transformer 架構的文字辨識模型,首次將影像 Transformer 與文本 Transformer 結合,用於 OCR 任務。
為了分析不同模型大小對性能的影響,作者擴展 TrOCR 的模型尺寸,從 TrOCR-S 到 TrOCR-H,模型參數範圍從 43.09 百萬到 10.37 億。
- TrOCR-S:Encoder 使用 DeiT,Decoder 使用 MiniLM。
- TrOCR-B:Encoder 使用 BEIT,Decoder 使用 RoBERTa。
- TrOCR-L 與 TrOCR-H:Encoder 使用 BEIT,Decoder 使用 RoBERTa。
PARSeq 使用基於 Transformer 的 Encoder-Decoder 架構。
Encoder 採用 ViT 模型進行影像特徵提取,移除 [CLS] token,將所有輸出 token 傳入 Decoder。Decoder 採用與 preLayerNorm 類似的 Transformer 解碼器,注意力頭數 。
擴展 PARSeq 模型至四種尺寸以探討 OCR 領域的大規模模型規律:
- PARSeq-S:基礎版本。
- PARSeq-B、PARSeq-L 與 PARSeq-H:逐步擴展模型規模,模型參數範圍從 22.51 百萬至 6.82 億,詳細配置如下表。
資料規模化
早期的模型訓練主要依賴合成資料,但隨著真實資料的增加,使用真實資料進行模型訓練的效率更高。為了擴大訓練數據的規模,作者製作了一個新的數據集:REBU-Syn。其中包含約 600 萬筆真實資料樣本與 1800 萬筆公開合成資料樣本,合成與真實資料的比例為 3:1。
真實資料集包括以下幾個部分:
- R 組:包含常用真實資料來源,如 COCO-Text、RCTW17、UberText、ArT、LSVT、MLT19、ReCTS、TextOCR 和 OpenVINO。
- E 組:來自常用於文字檢測任務的兩個真實資料集,Total Text 和 CTW1500,補入不同來源的真實數據。
- B 組:包含基準數據來源的訓練資料,例如 IIIT 5k-word、Street View Text、ICDAR13 和 ICDAR15。
- U 組:來自包含約 400 萬張標註圖像的 Union14M-L;本文彙整後使用約 310 萬張。
公開合成資料集包括以下幾個部分:
- 常用資料集:
- MJSynth (MJ):890 萬筆資料。
- SynthText (ST):550 萬筆資料。
- 額外合成資料:
- Curved SyntheText (CST):針對彎曲文字檢測的資料。
- SyntheAdd (SA):生成包含稀有字符(如標點符號)的資料。
除了公開的合成資料集之外,作者使用兩種工具:TextRecognitionDataGenerator 與 SynthText 製作了更多的合成資料。
語料來源是從全球使用最廣泛的英語語料網站中取得的 70 萬筆語料,合成資料的背景選擇了 SynthText 提供的自然場景圖片。
實驗設定
根據不同的模型架構,作者設定了不同的超參數:
- TrOCR 模型:
- TrOCR-S:批次大小 ,學習率 。
- TrOCR-B:批次大小 ,學習率 。
- TrOCR-L:批次大小 ,學習率 。
- PARSeq 模型:
- 使用一致的學習率 ,批次大小儘可能接近 。
文字分詞工具採用 BPE (Byte Pair Encoding) [68] 與 SentencePiece [37] 將文本行切分為子詞單元。
主要評估指標為單詞準確率。並統一將最終輸出字符串標準化為常用的 字符集(小寫字母與數字),以確保不同模型與數據集間的公平比較。
討論
以下以六個測試集的平均單詞錯誤率 觀察三個變數:
- 模型參數數量 :模型的複雜度與容量。
- 訓練數據量 :可用於訓練的數據規模。
- 模型計算量 :此處的實驗以訓練時間表示,圖 2(c) 標示為 8 張 GPU 的訓練小時數。
實驗目標是描述平均單詞錯誤率 與 、、 的冪律關係,並觀察錯誤率是否隨資源投入平滑下降。
模型大小的冪律關係
-
TrOCR 模型:
參數數量 與平均單詞錯誤率 的擬合公式如下:
基於前三個模型(TrOCR-S、TrOCR-B 和 TrOCR-L)擬合冪律公式。最後一個模型(TrOCR-H)的結果也接近擬合直線;這支持論文在測試範圍內的觀察。
-
PARSeq 模型:
與 TrOCR 相似,PARSeq 的參數數量 與平均單詞錯誤率 的擬合公式為:
資料量的冪律關係
-
TrOCR 模型:
表 6 比較 TrOCR-B 在 75 萬至 7500 萬筆訓練資料下的單詞準確率。原論文對錯誤率 印出的擬合公式如下:
表中的平均準確率由 50.35% 提升至 93.09%。但原論文的公式使用負指數,照式計算反而會讓錯誤率隨 增加而上升,與圖 2(b) 的下降曲線和表 6 不符;這裡不能直接拿該式推算效能。
-
PARSeq 模型:
表 7 隨 R、B、E、U 與合成資料逐步加入,平均準確率從 95.57% 提升至 96.85%。資料來源與資料量同時改變,因此不能單憑此表分離資料量的效果。
計算資源的冪律關係
圖 2(c) 比較不同訓練時間下的平均單詞錯誤率。原論文的式 (4) 印為:
圖中的灰色擬合線隨訓練時間增加而下降,但式 (4) 的負指數對 會給出相反趨勢;圖例另標為 ,與式 (4) 的 也不一致。此處只能依圖判讀實驗趨勢,不能把印出的式 (4) 當作可靠的預測公式。
合成與真實數據比例
真實數據在訓練效率上通常優於合成數據,但由於成本高昂且數量有限,合成數據仍不可或缺。
為此,作者固定真實數據量,逐步增加合成數據比例(從 0.5 至 5 倍),觀察模型精度的變化,如上表。
結果顯示,當真實數據與合成數據比例為 1:3 時,模型精度在表 9 的測試比例中最高,為 96.85%。合成數據繼續增加至 4 倍與 5 倍時,精度下降;作者推測可能是資料分佈過於偏向合成數據。
預訓練之必要性
對於預訓練模型到底能不能提升 OCR 的性能,過去的研究結果並不一致。
作者在論文中對比了使用 ImageNet-21k 預訓練的模型與從零開始訓練的模型在 OCR 任務中的性能。
表 10 中,使用 ImageNet-21k 預訓練的 PARSeq-L 平均準確率為 96.74%,低於相同訓練資料下從零開始訓練的 97.03%。作者也提到 CLIP4STR 有類似觀察,但這張表沒有列出其對照數值;這些結果顯示,非 OCR 任務的預訓練未必能提升此處的辨識表現。
如果是使用基於 OCR 任務的預訓練模型,此處則觀察到小幅提升。例如,使用 REBU-Syn 數據集訓練的 PARSeq-S 模型,精度達 96.85%,高於僅使用真實數據 REBU 訓練的 96.12%。進一步用真實數據 REBU 微調上述模型,表 10 列出的精度為 96.96%;論文正文另寫 97.01%,與表格不一致。
基於實驗結果,作者建議最佳實踐是:
- 先在包含合成與真實數據的完整數據集上訓練模型
- 再以真實數據進行微調,進一步提升精度。
與其他模型的比較
最後作者重新訓練了 CLIP4STR,採用 3:1 的合成與真實數據比例,並使用任務相關的預訓練模型進行微調。
表 11 中,CLIP4STR-B 原報告列為 96.89%,本文以 REBU-Syn 訓練後為 97.25%,相差 0.36 個百分點;兩列訓練資料不同,不能只把差距歸因於預訓練或資料比例。CLIP4STR-L 模型在 6 個常用測試基準 上取得 97.42% 的樣本加權平均單詞準確率,是表中最高的平均值。
結論
本研究確認了「模型規模」、「數據量」和「計算資源」與模型性能之間的冪律關係,隨著這三個要素的增加,模型性能可預測性地提升。
在訓練階段,作者建議使用真實數據與合成數據比例為 3:1,以獲得最佳性能。此外,作者證實了使用「與任務相關」的預訓練模型,能有效提升模型性能。