返回論文筆記資料庫
arXiv 2023文字辨識論文筆記

OCR Scaling Law

OCR 的模型縮放律

原始論文

An Empirical Study of Scaling Law for OCR

論文作者

Miao Rang · Zhenni Bi · Chuanjian Liu · Yunhe Wang · Kai Han

發表版本
正式發表資訊尚未核實
arXiv 首次提交
arXiv:2401.00028
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitionocrscalinglaw2023,
  title = {{An Empirical Study of Scaling Law for OCR}},
  author = {Miao Rang and Zhenni Bi and Chuanjian Liu and Yunhe Wang and Kai Han},
  year = {2023},
  eprint = {2401.00028},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2401.00028}
}
本頁內容

早在幾年前,NLP 領域就有研究者嘗試在總結模型的縮放率,並整理了幾個簡單的公式。

時至今日,都已經 2024 年了,怎麼就沒有一篇論文在 OCR 領域提到這個問題呢?

於是華為的諾亞方舟實驗室接下了這個問題。

定義問題

我們首先得確認模型愈大愈好,後續的投入才有價值,畢竟沒有意義的事情不會得到投資人的青睞。

在 NLP 領域早在幾年前就已經初步探索了這個問題,而且後來又有更多更深入的研究,像是這幾篇:

這些研究都是基於 NLP 領域的,而 OCR 領域的研究者似乎對這個問題沒有太多的關注。

人們想投入資源,又擔心投資的風險,所以這裡需要一個研究來解決這個問題。

解決問題

這篇論文中沒有新的模型架構,作者制定實驗框架,分別從以下幾個角度來檢視模型的縮放率:

  1. 模型大小:指模型的參數量,範圍從 5000 萬到 10 億。
  2. 數據集大小:指訓練數據集的大小,範圍從 100 萬到 10 億樣本。
  3. 計算時間:指訓練模型所需的時間,範圍從 100 小時到 1000 小時。

這是論文在前言概述的研究範圍;下文各項實驗使用的模型與資料量仍以對應表格為準。

除此之外,作者引入一個新的數據集:REBU-Syn。這是本篇論文提出的數據集,其中結合真實數據和合成數據,資料從現有的公開數據集中整理而成。

模型規模化

首先要探討模型尺寸的問題。

這裡作者引用過去兩篇有名的研究:TrOCR 和 PARSeq。

TrOCR 是基於純 Transformer 架構的文字辨識模型,首次將影像 Transformer 與文本 Transformer 結合,用於 OCR 任務。

為了分析不同模型大小對性能的影響,作者擴展 TrOCR 的模型尺寸,從 TrOCR-S 到 TrOCR-H,模型參數範圍從 43.09 百萬到 10.37 億。

  • TrOCR-S:Encoder 使用 DeiTSMALL_\text{SMALL},Decoder 使用 MiniLM。
  • TrOCR-B:Encoder 使用 BEITBASE_\text{BASE},Decoder 使用 RoBERTaLARGE_\text{LARGE}。
  • TrOCR-L 與 TrOCR-H:Encoder 使用 BEITLARGE_\text{LARGE},Decoder 使用 RoBERTaLARGE_\text{LARGE}。

PARSeq 使用基於 Transformer 的 Encoder-Decoder 架構。

Encoder 採用 ViT 模型進行影像特徵提取,移除 [CLS] token,將所有輸出 token 傳入 Decoder。Decoder 採用與 preLayerNorm 類似的 Transformer 解碼器,注意力頭數 nhead=dmodel32nhead = \frac{d_{model}}{32}。

擴展 PARSeq 模型至四種尺寸以探討 OCR 領域的大規模模型規律:

  • PARSeq-S:基礎版本。
  • PARSeq-B、PARSeq-L 與 PARSeq-H:逐步擴展模型規模,模型參數範圍從 22.51 百萬至 6.82 億,詳細配置如下表。

資料規模化

早期的模型訓練主要依賴合成資料,但隨著真實資料的增加,使用真實資料進行模型訓練的效率更高。為了擴大訓練數據的規模,作者製作了一個新的數據集:REBU-Syn。其中包含約 600 萬筆真實資料樣本與 1800 萬筆公開合成資料樣本,合成與真實資料的比例為 3:1。

真實資料集包括以下幾個部分:

  • R 組:包含常用真實資料來源,如 COCO-Text、RCTW17、UberText、ArT、LSVT、MLT19、ReCTS、TextOCR 和 OpenVINO。
  • E 組:來自常用於文字檢測任務的兩個真實資料集,Total Text 和 CTW1500,補入不同來源的真實數據。
  • B 組:包含基準數據來源的訓練資料,例如 IIIT 5k-word、Street View Text、ICDAR13 和 ICDAR15。
  • U 組:來自包含約 400 萬張標註圖像的 Union14M-L;本文彙整後使用約 310 萬張。

公開合成資料集包括以下幾個部分:

  • 常用資料集:
    • MJSynth (MJ):890 萬筆資料。
    • SynthText (ST):550 萬筆資料。
  • 額外合成資料:
    • Curved SyntheText (CST):針對彎曲文字檢測的資料。
    • SyntheAdd (SA):生成包含稀有字符(如標點符號)的資料。

除了公開的合成資料集之外,作者使用兩種工具:TextRecognitionDataGenerator 與 SynthText 製作了更多的合成資料。

語料來源是從全球使用最廣泛的英語語料網站中取得的 70 萬筆語料,合成資料的背景選擇了 SynthText 提供的自然場景圖片。

實驗設定

根據不同的模型架構,作者設定了不同的超參數:

  • TrOCR 模型:
    • TrOCR-S:批次大小 10241024,學習率 4×10−44 \times 10^{-4}。
    • TrOCR-B:批次大小 256256,學習率 1×10−41 \times 10^{-4}。
    • TrOCR-L:批次大小 128128,學習率 4×10−54 \times 10^{-5}。
  • PARSeq 模型:
    • 使用一致的學習率 7×10−47 \times 10^{-4},批次大小儘可能接近 10241024。

文字分詞工具採用 BPE (Byte Pair Encoding) [68] 與 SentencePiece [37] 將文本行切分為子詞單元。

主要評估指標為單詞準確率。並統一將最終輸出字符串標準化為常用的 3636 字符集(小寫字母與數字),以確保不同模型與數據集間的公平比較。

討論

以下以六個測試集的平均單詞錯誤率 EE 觀察三個變數:

  • 模型參數數量 NN:模型的複雜度與容量。
  • 訓練數據量 DD:可用於訓練的數據規模。
  • 模型計算量 CC:此處的實驗以訓練時間表示,圖 2(c) 標示為 8 張 GPU 的訓練小時數。

實驗目標是描述平均單詞錯誤率 EE 與 NN、DD、CC 的冪律關係,並觀察錯誤率是否隨資源投入平滑下降。

模型大小的冪律關係

  • TrOCR 模型:

    參數數量 NN 與平均單詞錯誤率 EE 的擬合公式如下:

    E(N)=(1.97×104N)0.223E(N) = \left(\frac{1.97 \times 10^4}{N}\right)^{0.223}

    基於前三個模型(TrOCR-S、TrOCR-B 和 TrOCR-L)擬合冪律公式。最後一個模型(TrOCR-H)的結果也接近擬合直線;這支持論文在測試範圍內的觀察。

  • PARSeq 模型:

    與 TrOCR 相似,PARSeq 的參數數量 NN 與平均單詞錯誤率 EE 的擬合公式為:

    E(N)=(6.316×10−74N)0.018E(N) = \left(\frac{6.316 \times 10^{-74}}{N}\right)^{0.018}

資料量的冪律關係

  • TrOCR 模型:

    表 6 比較 TrOCR-B 在 75 萬至 7500 萬筆訓練資料下的單詞準確率。原論文對錯誤率 EE 印出的擬合公式如下:

    E(D)=(1.84×105D)−0.3271E(D) = \left(\frac{1.84 \times 10^5}{D}\right)^{-0.3271}

    表中的平均準確率由 50.35% 提升至 93.09%。但原論文的公式使用負指數,照式計算反而會讓錯誤率隨 DD 增加而上升,與圖 2(b) 的下降曲線和表 6 不符;這裡不能直接拿該式推算效能。

  • PARSeq 模型:

    表 7 隨 R、B、E、U 與合成資料逐步加入,平均準確率從 95.57% 提升至 96.85%。資料來源與資料量同時改變,因此不能單憑此表分離資料量的效果。

計算資源的冪律關係

圖 2(c) 比較不同訓練時間下的平均單詞錯誤率。原論文的式 (4) 印為:

E(C)=(4.45×104C)−0.3271E(C) = \left(\frac{4.45 \times 10^4}{C}\right)^{-0.3271}

圖中的灰色擬合線隨訓練時間增加而下降,但式 (4) 的負指數對 CC 會給出相反趨勢;圖例另標為 −0.764-0.764,與式 (4) 的 −0.3271-0.3271 也不一致。此處只能依圖判讀實驗趨勢,不能把印出的式 (4) 當作可靠的預測公式。

合成與真實數據比例

真實數據在訓練效率上通常優於合成數據,但由於成本高昂且數量有限,合成數據仍不可或缺。

為此,作者固定真實數據量,逐步增加合成數據比例(從 0.5 至 5 倍),觀察模型精度的變化,如上表。

結果顯示,當真實數據與合成數據比例為 1:3 時,模型精度在表 9 的測試比例中最高,為 96.85%。合成數據繼續增加至 4 倍與 5 倍時,精度下降;作者推測可能是資料分佈過於偏向合成數據。

預訓練之必要性

對於預訓練模型到底能不能提升 OCR 的性能,過去的研究結果並不一致。

作者在論文中對比了使用 ImageNet-21k 預訓練的模型與從零開始訓練的模型在 OCR 任務中的性能。

表 10 中,使用 ImageNet-21k 預訓練的 PARSeq-L 平均準確率為 96.74%,低於相同訓練資料下從零開始訓練的 97.03%。作者也提到 CLIP4STR 有類似觀察,但這張表沒有列出其對照數值;這些結果顯示,非 OCR 任務的預訓練未必能提升此處的辨識表現。

如果是使用基於 OCR 任務的預訓練模型,此處則觀察到小幅提升。例如,使用 REBU-Syn 數據集訓練的 PARSeq-S 模型,精度達 96.85%,高於僅使用真實數據 REBU 訓練的 96.12%。進一步用真實數據 REBU 微調上述模型,表 10 列出的精度為 96.96%;論文正文另寫 97.01%,與表格不一致。

基於實驗結果,作者建議最佳實踐是:

  1. 先在包含合成與真實數據的完整數據集上訓練模型
  2. 再以真實數據進行微調,進一步提升精度。

與其他模型的比較

最後作者重新訓練了 CLIP4STR,採用 3:1 的合成與真實數據比例,並使用任務相關的預訓練模型進行微調。

表 11 中,CLIP4STR-B 原報告列為 96.89%,本文以 REBU-Syn 訓練後為 97.25%,相差 0.36 個百分點;兩列訓練資料不同,不能只把差距歸因於預訓練或資料比例。CLIP4STR-L 模型在 6 個常用測試基準 上取得 97.42% 的樣本加權平均單詞準確率,是表中最高的平均值。

結論

本研究確認了「模型規模」、「數據量」和「計算資源」與模型性能之間的冪律關係,隨著這三個要素的增加,模型性能可預測性地提升。

在訓練階段,作者建議使用真實數據與合成數據比例為 3:1,以獲得最佳性能。此外,作者證實了使用「與任務相關」的預訓練模型,能有效提升模型性能。