返回論文筆記資料庫
arXiv 2023ICIP 2023文字辨識論文筆記

DiffusionSTR

噪聲中的文字訊號

原始論文

DiffusionSTR: Diffusion Model for Scene Text Recognition

論文作者

Masato Fujitake

發表版本
ICIP 2023會議
arXiv 首次提交
arXiv:2306.16707
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textrecognitiondiffusionstr2023,
  title = {{DiffusionSTR: Diffusion Model for Scene Text Recognition}},
  author = {Masato Fujitake},
  year = {2023},
  eprint = {2306.16707},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2306.16707}
}
本頁內容

做研究的邏輯有時候很簡單:

看到別的領域有什麼好東西,拿過來試試看,或許就是一篇論文。

定義問題

擴散模型已經流行好幾年了,主要的應用還是集中在圖像生成領域上。

這麼新鮮的東西,不如...

拿來做文字辨識吧!

解決問題

模型架構

擴散模型的概念可以講個三天三夜,這裡就不多說了,我們假設你已經是擴散模型的高手。

作者這裡引入擴散模型,用來作為文字辨識的基底。

整個架構的設計非常簡單,首先將一個圖像使用 ViT 進行編碼,得到圖像的特徵表示。

接著,以噪聲填充的序列xTx_T作為輸入,透過 Transformer 在視覺特徵的條件下,生成逐步精煉的序列xT−1x_{T-1},此過程重複TT次,最終輸出序列x0x_0。

最後,x0x_0經由 FFN 轉換為辨識的文字序列,並且字元感知頭部負責預測字元的位置。

擴散模型包含前向和逆向過程:

  • 前向過程:原始擴散模型將數據點 x0x_0 逐步加入噪聲至高斯噪聲 xTx_T;這篇處理離散字元序列,改用多項式擴散模型。
  • 逆向過程:通過逐步去噪重建原始數據 x0x_0。

作者使用了多項擴散模型來處理字元這類離散變量,並引入了特殊標記,如[EOS](文字結束)、[PAD](填充)、[MASK](噪聲)等。

訓練時使用簡化的損失函數LsimpleL_{\text{simple}},並採用均方誤差損失進行穩定訓練。

除此之外,沒有使用任何語言模型。因為作者認為語言模型的分支會讓模型架構更為複雜,這樣難以直觀的看出擴散模型的效果。

Transformer 架構

這裡作者使用帶有時間位置編碼的 Transformer 解碼器來轉換擴散模型中的序列。

與傳統 Transformer 相比,有以下幾個不同點:

  1. 引入視覺特徵 zz 來進行文字序列的條件化處理,通過交叉注意力機制實現。
  2. 同時輸出所有字元的概率,而不是一次只預測一個字元。(不使用自回歸機制)
  3. 輸出結果有兩種用途:一是透過 FFN 轉換為文字序列,二是輸入字元感知頭部來預測字元區域是否為真實字元。

在訓練過程中,隨機抽取一個時間步 tt,依噪聲排程 αt,αˉt\alpha_t, \bar{\alpha}_t 生成帶有噪聲的序列 xtx_t,再由 Dec(xt,z,t)\text{Dec}(x_t, z, t) 預測 xt−1x_{t-1} 並計算損失。

在推理過程從填充有噪聲標記([MASK])的序列 xTx_T 開始,並在視覺編碼器生成的視覺特徵 zz 的條件下進行 TT 次迭代,最終獲得 x0x_0,最後,將x0x_0經由 FFN 轉換為辨識的文字序列。

最後作者提出了一個字元感知頭部來進行文字辨識,其主要解決固定長度序列中的字元分類問題。預測頭進行二元分類,判斷一個位置是否對應於一個字元(1)或非字元(0),損失函數採用二元交叉熵。

討論

與其他方法的比較

上表比較了僅用 MJ 和 ST 訓練的各方法,在六個測試集上的單字準確率。

DiffusionSTR 在多個數據集上表現優異,且與最新的強力方法相較具競爭力。

ABINet 和 PARSeq 使用了強大的語言模型,而 TRBA 則採用了圖像校正模組作為前處理。儘管 DiffusionSTR 結構較簡單,沒有使用這些技術,但仍能達到相似的準確度。

擴散模型的優勢

從圖中的辨識例子,作者觀察到 DiffusionSTR 在以下情況的結果:

  1. 噪聲圖像:部分例子比 PARSeq 辨識得更準確。
  2. 模糊圖像:部分例子仍能辨識出文字。

字元感知頭部影響

實驗顯示了字元感知頭部的效果:移除後,六個測試集的平均準確率從 91.8% 降到 63.4%。

擴散步驟影響

上表顯示了總步驟數對準確度的影響:100 步到 2000 步從 17.6% 升到 91.9%,但 4000 步降為 91.3%。

在 1000 步之後,這組實驗的準確率大致趨於飽和。

結論

本文提出的方法是利用視覺訊息有條件地細化噪音文字序列,這和現有的方法截然不同。在驗證集上,DiffusionSTR 和最先進的方法相比也毫不遜色,證明了該方法的有效性。

這個新穎的思考方式,讓研究者們看到了擴散模型在文字辨識上的潛力。