返回論文筆記資料庫
arXiv 2023WACV 2024文字辨識論文筆記

DTrOCR

解碼器就好

原始論文

DTrOCR: Decoder-only Transformer for Optical Character Recognition

論文作者

Masato Fujitake

發表版本
WACV 2024會議
arXiv 首次提交
arXiv:2308.15996
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitiondtrocr2023,
  title = {{DTrOCR: Decoder-only Transformer for Optical Character Recognition}},
  author = {Masato Fujitake},
  year = {2023},
  eprint = {2308.15996},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2308.15996}
}
本頁內容

發表這篇論文的機構是日本的 OCR 公司,算是比較少見的作者群。

這個模型的讀法是 D-TrOCR,Decoder-only 的意思。

我們第一次看到的時候,會忍不住想讀成 Doctor。(?)

定義問題

我們之前已經看完了 TrOCR,相信你應該還是有點印象。

TrOCR 廣泛採用預訓練架構,使用編碼器模型和解碼器模型,組成一個文字辨識的處理流程。

而這篇論文的作者對 TrOCR 的架構提出了一些質疑,認為編碼器模型在 OCR 任務上並不是必要的:

  • 或許我們只需要解碼器就可以完成 OCR 任務!

怎麼覺得好像有種似曾相似的感覺?

答對了!OpenAI 在發佈 GPT 的時候也是這樣講的:我們只需要解碼器!

所以寫論文嘛,大家互相致敬一下,把一些開創性的想法,應用在不同的領域上,說不定就是一篇不錯的論文了。

解決問題

模型架構

簡單來說,就是把編碼器的部分拿掉,把影像輸入直接串給解碼器。

輸入影像會經過 Patch Embedding 模組,將輸入影像切割成小區塊並轉成向量。把輸入向量加上位置編碼後,傳給解碼器進行文字生成,這個部分跟 ViT 的做法是一樣的。

影像區塊向量後會接上一個分隔影像與文字序列的特殊 token [SEP],解碼器接著逐步生成文字,直到遇到 [EOS] 表示結束。

模型使用 BPE 分詞,預測階段透過 Beam Search 獲得最終的文字輸出。

解碼器架構直接採用經過預訓練的 GPT-2,不需從頭訓練,節省了許多時間。

合成數據預訓練

原本的語言模型是基於大量的文本數據集進行訓練,但這樣的模型並不適合處理 OCR 任務。因為模型不認識影像特徵,無法將影像與文字聯結。

作者在這裡使用人工合成的數據集對模型進行進一步的預訓練,數據集包含了場景文字、手寫文字與印刷文字等多種形式。

之前在 TrOCR 的論文中所使用的訓練資料是透過 PDF 檔案和商用 OCR 進行數據標註,但這樣的數據準備耗時且費力。作者這裡不打算這樣做,而是改用文本語料庫進行人工生成,以提升資料的再現性,相關的語料庫有 PILE、CC100 和 Chinese NLP Corpus。

合成數據的生成過程如下:

  • 利用三個開源庫生成合成數據,將語料隨機分為場景、印刷、及手寫文字辨識三種類別,比例分配為 60%、20%、20%。
  • 為場景文字辨識生成 40 億張水平文本影像及 20 億張垂直文本影像,使用 SynthTIGER,並採用默認字體 (英文) 與 64 種常用字體 (中文)。
  • 使用 SynthTIGER 的多行文字影像設定,以 MJSynth 和 SynthText 語料生成 1 億張多行英文文字影像,設定詞數為 5。
  • 為印刷文字辨識生成 20 億張影像,採用 TextRender 的默認設定。
  • 手寫文字辨識則使用 TRDG 生成 20 億張影像,使用 5,427 種英文與四種中文手寫字體。

真實數據微調

為提升模型在真實環境中的適應性,還是得找一些真實數據來微調。

作者在論文中所使用真實數據集為:COCO-Text、RCTW、Uber-Text、ArT、LSVT、MLT19 和 ReCTS。

實作細節

  1. 模型設置

    • 解碼器模型:

      • 使用英文 GPT-2 和中文 GPT-2 模型。
      • 模型配置:
        • 12 層 Transformer
        • 每層 768 維隱藏層
        • 多頭注意力機制使用 12 個頭
      • 採用 Byte Pair Encoding (BPE) 字彙表。
    • 影像 Patch Embedding:

      • 遵循先前研究,使用 8 × 4 的影像區塊大小。
      • 使用相對位置編碼。
      • 最大 token 長度設定為 512。

  1. 訓練設定

    • 預訓練:
      • 英文模型:使用英文數據集。
      • 中文模型:結合中英文數據集。
      • 訓練參數:
        • 1 個 epoch,批量大小為 32。
        • 使用 AdamW 優化器,學習率設為 10−410^{-4}。
    • 微調:
      • 使用預訓練權重進行初始化。
      • 微調至目標數據集:
        • 大部分數據集訓練 1 個 epoch,學習率設為 5×10−65 \times 10^{-6}。
        • SROIE 資料集訓練 4 個 epoch。
      • 使用與預訓練相同的優化器與批量大小。

  1. 資料增強

    • 應用 RandAugment(不包括 Sharpness)。
    • 添加以下增強方法:
      • 反轉 (Invert)
      • 高斯模糊 (Gaussian Blur)
      • 泊松噪聲 (Poisson Noise)
    • RandAugment 配置:
      • 三層策略
      • 增強幅度設為 5
    • 將所有影像調整為 128 × 32 像素。
    • 保留影像原始方向,並隨機進行以下旋轉:
      • 保持原方向 (95%)
      • 順時針旋轉 90 度 (2.5%)
      • 逆時針旋轉 90 度 (2.5%)
    • 將影像標準化至範圍 [−1,1][-1, 1]。

討論

STR 性能比較

表中依合成資料與真實資料訓練條件分組;在各組有報告的基準結果中,DTrOCR 的字詞準確率均高於列出的比較方法。各方法所用訓練資料與設定不同,不能只由這張表歸因於解碼器架構。

表中的 TrOCR、ABINet、PARSeq、MaskOCR 使用視覺編碼器並引入語言資訊;DTrOCR 未使用獨立的視覺編碼器,在這些基準上仍達到較高準確率。

如下圖的例子所示,DTrOCR 正確辨識了帶有遮擋或不規則排列的文字,也辨識出圖中的雙行文字;另外兩種比較方法在這些例子中有誤。

SROIE 性能比較

上表比較的是 SROIE Task 2 的字詞級召回率、精確率與 F1。DTrOCR 未使用獨立的 CNN 或 ViT 視覺編碼器,三項指標均高於表中方法。

手寫文字辨識性能

這裡採用的資料集是 IAM Handwriting Database,這個分支的研究比較少。過去最好的方式是訓練於 Diaz 的內部註解數據集並使用外部 LM 及基於 Transformers 的 TrOCR。

而 DTrOCR 使用合成資料與 IAM 訓練集、不使用外部語言模型,在表中得到較低的字元錯誤率(CER 2.38,越低越好)。

中文辨識性能

中文基準測試包含四個子集:場景、網頁、文檔與手寫。

DTrOCR 在四個子集中的字詞準確率均高於表中方法;其中場景、網頁與手寫的差距較大,文件子集與次高結果相差 0.5 個百分點。

其中, TrOCR 和 MaskOCR 使用基於掩碼語言模型 (MLM) 的預訓練方法,而本文方法基於生成式預訓練 (生成下一個文字 token)。

這些結果顯示,生成式解碼器在這四個中文子集上有效;表中方法的架構與訓練條件不同,無法單獨判定差距都來自預訓練方式。

結論

作者在這篇論文中展示了非常簡單的文字辨識模型結構,僅使用解碼器模型就能完成 OCR 任務,並證實了這種方法的有效性。

在多個基準測試中,DTrOCR 在準確率上均超越了現有最先進方法,而且也有不錯泛化能力。再往後可能就是踏上 LLM 的演化之路,看看能不能把這個模型做得更快更好。