{"notes":[{"id":"text-recognition/rare","category":"text-recognition","legacyPath":"text-recognition/1603-rare","legacySlug":"1603-rare","legacyPaths":[],"title":"RARE","subtitle":"全自動校正","author":"Z. Yuan","paperDate":"2016","publishedOn":"2024-10-08","paperTitle":"Robust Scene Text Recognition With Automatic Rectification","paperUrl":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html","bibliography":{"title":"Robust Scene Text Recognition With Automatic Rectification","authors":["Baoguang Shi","Xinggang Wang","Pengyuan Lyu","Cong Yao","Xiang Bai"],"url":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html","pdfUrl":"https://openaccess.thecvf.com/content_cvpr_2016/papers/Shi_Robust_Scene_Text_CVPR_2016_paper.pdf","codeUrl":null,"preprint":null,"publication":{"venue":"CVPR","year":2016,"kind":"conference","url":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html"},"citation":"@inproceedings{textrecognitionrare2016,\n  title = {{Robust Scene Text Recognition With Automatic Rectification}},\n  author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},\n  year = {2016},\n  booktitle = {CVPR},\n  url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}\n}\n","citationPath":"/content/papers/citations/text-recognition/rare.e993d8c6fce6.bib"},"thumbnail":{"src":"/content/papers/assets/ede56fcdf7e421a6d8418d322e7a516326d84123169b83be8f9badb72fbb994e.jpg","width":1224,"height":496},"locale":"zh-hant","path":"/content/papers/zh-hant/text-recognition/rare.3c50b83aa0c1.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"空間轉換網路","text":"空間轉換網路","depth":3},{"id":"定位網路","text":"定位網路","depth":3},{"id":"網格生成器","text":"網格生成器","depth":3},{"id":"取樣器","text":"取樣器","depth":3},{"id":"編碼器-解碼器","text":"編碼器-解碼器","depth":3},{"id":"字典輔助辨識","text":"字典輔助辨識","depth":3},{"id":"模型訓練","text":"模型訓練","depth":3},{"id":"評估指標","text":"評估指標","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"與其他方法比較","text":"與其他方法比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/sar","relation":"comparison","topic":"彎曲與不規則文字的辨識"},{"id":"text-recognition/dan","relation":"comparison","topic":"彎曲與不規則文字的辨識"}]},{"id":"text-recognition/sar","category":"text-recognition","legacyPath":"text-recognition/1811-sar","legacySlug":"1811-sar","legacyPaths":[],"title":"SAR","subtitle":"二維注意力圖","author":"Z. Yuan","paperDate":"2018-11-02","publishedOn":"2024-10-11","paperTitle":"Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition","paperUrl":"https://arxiv.org/abs/1811.00751","bibliography":{"title":"Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition","authors":["Hui Li","Peng Wang","Chunhua Shen","Guyu Zhang"],"url":"https://arxiv.org/abs/1811.00751","pdfUrl":"https://arxiv.org/pdf/1811.00751","codeUrl":null,"preprint":{"id":"1811.00751","submittedOn":"2018-11-02","url":"https://arxiv.org/abs/1811.00751"},"publication":{"venue":"AAAI","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1811.00751"},"citation":"@misc{textrecognitionsar2018,\n  title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},\n  author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},\n  year = {2018},\n  eprint = {1811.00751},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1811.00751}\n}\n","citationPath":"/content/papers/citations/text-recognition/sar.429fd6a175f4.bib"},"thumbnail":{"src":"/content/papers/assets/5d30550b9ceceb13eae308e5c7eae88d7f1a5baf19ef43fa90066a49c0011976.jpg","width":1604,"height":516},"locale":"zh-hant","path":"/content/papers/zh-hant/text-recognition/sar.f4ada01e6ea1.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"編碼器","text":"編碼器","depth":3},{"id":"解碼器","text":"解碼器","depth":3},{"id":"2d-注意力圖","text":"2D 注意力圖","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"與其他方法的比較","text":"與其他方法的比較","depth":3},{"id":"可視化展示","text":"可視化展示","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/rare","relation":"comparison","topic":"彎曲與不規則文字的辨識"},{"id":"text-recognition/dan","relation":"comparison","topic":"彎曲與不規則文字的辨識"}]},{"id":"text-recognition/dan","category":"text-recognition","legacyPath":"text-recognition/1912-dan","legacySlug":"1912-dan","legacyPaths":[],"title":"DAN","subtitle":"不准在一起","author":"Z. Yuan","paperDate":"2019-12-21","publishedOn":"2024-10-17","paperTitle":"Decoupled Attention Network for Text Recognition","paperUrl":"https://arxiv.org/abs/1912.10205","bibliography":{"title":"Decoupled Attention Network for Text Recognition","authors":["Tianwei Wang","Yuanzhi Zhu","Lianwen Jin","Canjie Luo","Xiaoxue Chen","Yaqiang Wu","Qianying Wang","Mingxiang Cai"],"url":"https://arxiv.org/abs/1912.10205","pdfUrl":"https://arxiv.org/pdf/1912.10205","codeUrl":null,"preprint":{"id":"1912.10205","submittedOn":"2019-12-21","url":"https://arxiv.org/abs/1912.10205"},"publication":{"venue":"AAAI","year":2020,"kind":"conference","url":"https://arxiv.org/abs/1912.10205"},"citation":"@misc{textrecognitiondan2019,\n  title = {{Decoupled Attention Network for Text Recognition}},\n  author = {Tianwei Wang and Yuanzhi Zhu and Lianwen Jin and Canjie Luo and Xiaoxue Chen and Yaqiang Wu and Qianying Wang and Mingxiang Cai},\n  year = {2019},\n  eprint = {1912.10205},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1912.10205}\n}\n","citationPath":"/content/papers/citations/text-recognition/dan.d39e18024fa7.bib"},"thumbnail":{"src":"/content/papers/assets/e53f7bec264bbeb70e49cb487f7356d7b9d8b657cecebf15e670b6f48aaa7cfe.jpg","width":1478,"height":420},"locale":"zh-hant","path":"/content/papers/zh-hant/text-recognition/dan.1f4e52b220c6.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"注意力遺失","text":"注意力遺失","depth":3},{"id":"輸出耦合","text":"輸出耦合","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"特徵提取","text":"特徵提取","depth":3},{"id":"對齊模組","text":"對齊模組","depth":3},{"id":"解耦式解碼模組","text":"解耦式解碼模組","depth":3},{"id":"手寫文字辨識訓練策略","text":"手寫文字辨識訓練策略","depth":3},{"id":"場景文字辨識訓練策略","text":"場景文字辨識訓練策略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"手寫文字辨識性能","text":"手寫文字辨識性能","depth":3},{"id":"消融實驗","text":"消融實驗","depth":3},{"id":"對齊錯誤分析","text":"對齊錯誤分析","depth":3},{"id":"辨識錯誤分析","text":"辨識錯誤分析","depth":3},{"id":"場景文字辨識性能","text":"場景文字辨識性能","depth":3},{"id":"穩健性研究","text":"穩健性研究","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/rare","relation":"comparison","topic":"彎曲與不規則文字的辨識"},{"id":"text-recognition/sar","relation":"comparison","topic":"彎曲與不規則文字的辨識"}]}],"text":"CRNN 提出後解決了大部分的問題，但對於不規則的文字辨識仍然力有未逮。\n\n## 定義問題\n\n自然場景中的文字辨識遠比印刷文字困難得多。在辨識階段的文字常會有劇烈地變形、扭曲、遮蔽、模糊等問題。\n\n而作者在這篇文章中，主要想解決的是變形和扭曲的問題。仔細回想一下，前一陣子不是有一個有名的 STN 的模型嗎？\n\n- [**[15.06] Spatial Transformer Networks**](https://arxiv.org/abs/1506.02025)\n\n\n\n    ![stn](/content/papers/assets/6f098fa7285150b8a8250b316496ddf083cceac392a1f97105bfe2459be2f021.jpg)\n\n\n\n或許我們可以設計一個具有自動校正功能的模型？\n\n## 解決問題\n\n### 空間轉換網路\n\n![model arch](/content/papers/assets/ede56fcdf7e421a6d8418d322e7a516326d84123169b83be8f9badb72fbb994e.jpg)\n\n為了緩解不規則文字的辨識問題，自動校正功能要放在辨識模組的前面。\n\n這裡作者引入空間變換網路（Spatial Transformer Network, STN）來校正輸入影像。\n\nSTN 的主要目的是將輸入影像 $I$ 轉換為校正後的影像 $I'$，並透過預測的 TPS（Thin Plate Spline）轉換進行校正。該網路會透過一個定位網路（Localization Network）預測一組基準點，然後利用這些基準點計算 TPS 轉換參數，生成影像上的取樣網格，最後利用取樣網格來從輸入影像生成校正後的影像 $I'$。\n\n### 定位網路\n\n定位網路負責定位 $K$ 個基準點，其輸出是這些基準點的 $x$、$y$ 座標，記作：\n\n$$\nC = [c_1, \\dots, c_K] \\in \\mathbb{R}^{2 \\times K}, c_k = [x_k, y_k]^\\top\n$$\n\n座標系統的中心點設在影像中央，座標值範圍在 $[-1, 1]$。\n\n該網路使用卷積神經網路進行迴歸學習座標位置，輸出層包含 $2K$ 個節點，並使用 tanh 作為激活函數以確保輸出值落在 $(-1, 1)$ 範圍內。\n\n網路的訓練由 STN 的其他部分反向傳播的梯度完全監督，不需要人工標註基準點座標。\n\n### 網格生成器\n\n![tps](/content/papers/assets/4ae674d719ee694b7be155663c33106e945f85192c13554ea3934b6837d0aa3b.jpg)\n\n作者先在校正後影像的上下邊緣定義一組固定的「基本」基準點 $C^\\prime$；定位網路則在輸入影像上預測對應的基準點 $C$，如上圖。\n\n網格生成器估計 TPS 變換參數，並產生採樣網格，這裡的 TPS 轉換的參數由一個矩陣 $T \\in \\mathbb{R}^{2 \\times (K+3)}$ 表示，該矩陣的計算公式為：\n\n$$\nT = \\left( \\Delta_{C^\\prime}^{-1}\n\\begin{bmatrix}\nC^\\top \\\\\n0^{3 \\times 2}\n\\end{bmatrix}\n\\right)^\\top\n$$\n\n其中 $\\Delta_{C^\\prime} \\in \\mathbb{R}^{(K+3) \\times (K+3)}$ 是一個由基準點 $C^\\prime$ 決定的矩陣，因此它是一個常數矩陣。\n\n$\\Delta_{C^\\prime}$的具體形式為：\n\n$$\n\\Delta_{C^\\prime} =\n\\begin{bmatrix}\n1^{K \\times 1} & (C^\\prime)^{\\top} & R \\\\\n0 & 0 & 1^{1 \\times K} \\\\\n0 & 0 & C^\\prime\n\\end{bmatrix}\n$$\n\n其中 $R$ 矩陣的第 $i$ 行第 $j$ 列的元素 $r_{i,j}$ 定義為：\n\n$$\nr_{i,j} = d_{i,j}^2 \\ln d_{i,j}^2,\n$$\n\n而 $d_{i,j}$ 則表示第 $i$ 個和第 $j$ 個基準點 $c^\\prime_i$ 與 $c^\\prime_j$ 之間的歐幾里得距離。\n\n校正後的影像 $I'$ 上的像素網格表示為 $P' = \\{p'_i\\}_{i=1, \\dots, N}$，其中 $p'_i = [x'_i, y'_i]^{\\top}$ 為第 $i$ 個像素的 $x$、$y$ 座標，$N$ 是影像中的像素數。\n\n對於每個在 $I'$ 上的像素點 $p'_i$，可以通過以下的轉換找到對應於輸入影像 $I$ 上的像素點 $p_i = [x_i, y_i]^{\\top}$：\n\n1. 首先計算 $p'_i$ 與基準點的距離：\n\n   $$\n   r'_{i,k} = d_{i,k}^2 \\ln d_{i,k}^2,\n   $$\n\n   其中 $d_{i,k}$ 是 $p'_i$ 與第 $k$ 個基準點 $c^\\prime_k$ 的歐幾里得距離。\n\n2. 然後構造增廣向量 $\\hat{p}'_i$：\n\n   $$\n   \\hat{p}'_i = \\left[ 1, x'_i, y'_i, r'_{i,1}, \\dots, r'_{i,K} \\right]^{\\top}.\n   $$\n\n3. 最後，通過以下矩陣運算將其轉換為輸入影像上的點 $p_i$：\n\n   $$\n   p_i = T \\hat{p}'_i.\n   $$\n\n通過對校正影像 $I'$ 中的所有像素點進行以上運算，可以生成一個輸入影像$I$上的像素網格 $P = \\{p_i\\}_{i=1, \\dots, N}$。\n\n由於矩陣 $T$ 的計算以及點 $p_i$ 的轉換都是可微分的，因此網格生成器能夠反向傳播梯度，用於模型的訓練。\n\n\n> [!TIP]\n> \n> 上面這段是論文的原話，如果你看不懂，那我們扔掉所有數學：\n> \n> 假設我們有一張不規則的影像（可能是因為拍攝角度或其他原因導致的扭曲），我們想把它「拉平」或「校正」，讓影像中的內容變得規整，以便後續的辨識工作更容易進行。\n> \n> 首先，模型在輸入影像預測一組「基準點」，而校正後影像上下邊緣的對應點是固定的。接著，我們用「歐幾里得距離」建立這些點與取樣位置的關係，推導校正後每個像素要從原圖的哪裡取值。\n> \n> 這個「拉平」過程中，我們不只是隨便地移動影像中的每一個點，而是有一套規則和計算方法來確保校正後的影像仍然保持整體一致性和自然感。\n> \n> 這就是上面提到的矩陣 $T$ 和那些距離公式在做的事情。\n\n\n### 取樣器\n\n取樣器（Sampler）透過雙線性插值從輸入影像的像素值生成校正後的影像 $I'$。\n\n校正後影像 $I'$ 中的每個像素 $p'_i$ 的值是從輸入影像 $I$ 中相應的 $p_i$ 附近的像素進行雙線性插值計算得到的。\n\n這一過程同樣可微分，辨識誤差因此能回傳到校正模組。取樣後的結果像下圖這樣：\n\n\n\n![sampler](/content/papers/assets/cbde9a73435bf47def4cb0b769ef274fd473e4331f855a6c2749e278d41f8b0e.jpg)\n\n\n\n### 編碼器-解碼器\n\n\n\n![encoder](/content/papers/assets/569f8ecff318cf131953743c5dafbfa9e916cf3c362e4ea278a8a6a7c1ca1881.jpg)\n\n\n\n完成影像的自動校正後，接著就回到我們熟悉的辨識流程了。\n\n首先是編碼器（Encoder），這裡使用的是 CRNN 模型，就是使用一個 Backbone 網路將輸入影像轉換成序列特徵，接著輸入 BiLSTM 網路進行時序建模。\n\n接著是解碼器（Decoder）。原本 CRNN 用 CTC 將逐幀預測轉成文字；這篇改用結合注意力的 GRU，逐步產生字元。\n\n\n> [!TIP]\n> \n> GRU 和 LSTM 是類似的架構；在相同隱層大小下，GRU 通常參數較少。本文沒有直接比較兩者的訓練速度。\n\n\n解碼器的部分，作者在解碼時搭配了注意力機制，在每個時間步驟 $t$，解碼器會計算出一個注意力權重向量 $\\alpha_t \\in \\mathbb{R}^L$，其中 $L$ 是輸入序列的長度。\n\n注意力權重的計算公式如下：\n\n$$\n\\alpha_t = \\text{Attend}(s_{t-1}, \\alpha_{t-1}, h)\n$$\n\n其中：\n\n- $s_{t-1}$ 是上一時間步 GRU 單元的隱狀態。\n- $\\alpha_{t-1}$ 是上一時間步的注意力權重向量。\n- $h$ 是編碼器對輸入序列的表示。\n\n此 Attend 函數根據解碼器的上一隱狀態 $s_{t-1}$ 和先前的注意力權重 $\\alpha_{t-1}$，來計算當前的注意力權重向量 $\\alpha_t$。這個向量的每個元素都是非負數，且所有元素的總和等於 1，代表了輸入序列中每個元素對當前解碼步驟的重要性。\n\n計算出 $\\alpha_t$ 後，模型會生成一個稱為 Glimpse 向量的 $g_t$，這個向量是對輸入序列的編碼表示 $h$ 的加權總和。\n\n其計算公式為：\n\n$$\ng_t = \\sum_{i=1}^{L} \\alpha_{ti} h_i\n$$\n\n其中：\n\n- $\\alpha_{ti}$ 是注意力權重向量 $\\alpha_t$ 的第 $i$ 個元素。\n- $h_i$ 是輸入序列中第 $i$ 個元素的編碼表示。\n\nGlimpse 向量 $g_t$ 是輸入序列中模型當前關注部分的加權總和。\n\n由於 $\\alpha_t$ 是一個機率分佈（所有元素為非負數，且總和為 1），因此 $g_t$ 是輸入序列特徵的加權組合，使解碼器能夠根據當前解碼步驟，聚焦於輸入序列中的不同部分。\n\n在計算出 Glimpse 向量 $g_t$ 後，解碼器會利用 GRU 的遞迴公式來更新隱狀態 $s_t$：\n\n$$\ns_t = \\text{GRU}(l_{t-1}, g_t, s_{t-1})\n$$\n\n其中：\n\n- $l_{t-1}$ 是上一時間步的標籤。\n- 在訓練過程中，這是實際的標籤。\n- 在測試過程中，這是上一時間步預測出的標籤 $\\hat{l}_{t-1}$。\n- $g_t$ 是由注意力機制計算出的 Glimpse 向量，表示模型當前關注的輸入信息。\n- $s_{t-1}$ 是 GRU 在上一時間步的隱狀態。\n\nGRU 單元會根據前一步的標籤 $l_{t-1}$、當前的 Glimpse 向量 $g_t$，以及前一步的隱狀態 $s_{t-1}$ 來更新當前的隱狀態 $s_t$，從而編碼當前步驟的輸出與輸入信息的關聯。\n\n在每個時間步驟中，解碼器會根據更新後的隱狀態 $s_t$ 來預測下一個輸出字元。輸出 $\\hat{y}_t$ 是一個對所有可能字元的機率分佈，其中包含一個特殊的「序列結束」符號（EOS），當模型預測到 EOS 時，序列生成過程即告結束。\n\n### 字典輔助辨識\n\n最後的輸出結果可能會有一些錯誤，這裡作者使用了一個字典來幫助辨識，在最後作者會比較有使用字典和沒有使用字典的效果。\n\n當測試影像與一個字典相關聯時，模型會選擇條件後驗概率最高的詞：\n\n$$\nl^* = \\arg \\max_l \\log \\prod_{t=1}^{|l|} p(l_t | I; \\theta).\n$$\n\n當字典非常大時（例如包含 50k 以上詞彙的 Hunspell 字典），逐一檢查所有詞的計算成本很高，因此作者採用了前綴樹來進行高效的近似搜索，如下圖：\n\n\n\n![prefix](/content/papers/assets/09f345c585c7c6f579914381d9c138c799eac3890eceb855c3bfeb0839a54f91.jpg)\n\n\n\n每個節點代表一個字元，從根節點到葉節點的路徑表示一個詞。\n\n測試時，從根節點開始，每一步根據模型輸出的分佈選擇後驗概率最高的子節點，直到達到葉節點，對應的路徑就是預測詞。\n\n由於樹的深度不超過字典中最長詞的長度，這種方法比逐一搜尋的計算量小。論文在超過 1k 詞的大詞典實驗中，還使用寬度為 7 的 beam search 保留多條候選路徑。\n\n### 模型訓練\n\n作者使用 Jaderberg 等人釋出的合成數據集作為場景文字辨識的訓練數據：\n\n- [**Text Recognition Data**](https://www.robots.ox.ac.uk/~vgg/data/text/)：該資料集包含 800 萬張訓練圖像及其對應的標註文字。這些圖像由合成引擎生成，逼真度很高。\n\n除此之外，沒有使用其他額外數據。\n\n訓練批次大小設為 64，影像尺寸在訓練和測試中都調整為 $100 \\times 32$。STN 的輸出大小也是$100 \\times 32$。模型訓練速度約為每秒處理 160 個樣本，經過 3 個訓練週期後，在 2 天內收斂。\n\n### 評估指標\n\n作者使用了四個常用的場景文字辨識基準數據集來評估模型的性能，分別是：\n\n1. **ICDAR 2003 (IC03)**\n\n   - 測試集包含 251 張場景圖像，這些圖像中帶有標記的文字邊界框。\n   - 為了與先前的工作進行公平比較，通常會忽略包含非字母數字字元或少於三個字元的文字圖像。經過過濾後，最終得到 860 張裁剪的文字圖像作為測試集。\n   - 每張測試圖像都配有一個包含 50 個單詞的詞彙表（詞典）。此外，還有一個**完整詞典**，是將所有圖像的詞彙表合併而成，用於評估。\n\n2. **ICDAR 2013 (IC13)**\n\n   - 測試集繼承並修正了 IC03 的部分數據；本文沿用 IC03 的過濾規則後，以 857 張裁剪文字圖像評估。\n   - 與 IC03 不同，IC13 沒有提供詞彙表，因此評估時不使用詞典輔助（即無詞典設定）。\n\n3. **IIIT 5K-Word (IIIT5k)**\n\n   - 測試集包含 3,000 張從網路上收集的裁剪文字圖像，涵蓋了更廣泛的字體和語言變化。\n   - 每張圖像都附帶了兩個詞彙表：一個包含 50 個單詞的小詞典和一個包含 1,000 個單詞的大詞典，用於詞典輔助的評估。\n\n4. **Street View Text (SVT)**\n\n   - 測試集由 249 張來自 Google 街景的場景圖像組成，從中裁剪出 647 張文字圖像。\n   - 每個文字圖像都配有一個包含 50 個單詞的詞彙表，用於詞典輔助的評估。\n\n## 討論\n\n### 與其他方法比較\n\n![compare](/content/papers/assets/30698f2473804faed6c9827b08e3c5f8e88f296607f32fa57e61e3a10e9d1b05.jpg)\n\n上表顯示了模型在各基準數據集上的結果，並與其他方法進行比較。在真正無詞典限制的比較中，RARE 在 IIIT5K、SVT、IC03 和 IC13 均高於 CRNN；表中部分更高的 Jaderberg et al. [17] 數字仍受 90k 詞典限制。\n\n在 IIIT5K 的無詞典設定，RARE 的 81.9% 比 CRNN【32】的 78.2% 高 3.7 個百分點。作者認為，IIIT5K 中的不規則文字是校正模組能發揮作用的原因之一。\n\n儘管在部分數據集上模型落後於【17】的模型，RARE 能夠辨識隨機字串（如電話號碼），而【17】的模型只能辨識其 90k 字典內的單詞。\n\n在有詞典輔助的辨識任務中，RARE 在 IIIT5K、SVT 和 IC03 的各設定都略低於 CRNN，但仍與【17】有競爭力；不能把無詞典的提升套用到詞典設定。表中的 RARE（SRN only）也顯示，加入校正模組後四個無詞典欄位都有提升。\n\n\n> [!TIP]\n> \n> 在那個時候的論文還不流行給自己的理論或方法取名字，因此我們常會看見這種以作者名字為代號的命名方式，例如上表中的【17】就是指代 Jaderberg 等人的論文：\n> \n> - [**[14.12] Reading text in the wild with convolutional neural networks**](https://arxiv.org/abs/1412.1842)\n\n\n## 結論\n\n這篇論文主要解決了不規則文字辨識的問題，通過引入一個可微分的空間變換網路（STN）模組，來自動校正不規則文字，實現端到端的訓練，並在多個基準數據集上取得了不錯的效果。\n\n作者也在實驗中指出模型在「特別彎曲」的文字上表現不佳，原因可能是因為在訓練資料中缺少對應的資料樣態，這也是未來可以改進的方向。\n\n\n\n![prefix](/content/papers/assets/c182bbfe6d5066ed81929df33e89d5573a0a422153b2412fbac5b97b9b43d7db.jpg)\n\n\n\n\n> [!TIP]\n> \n> 大概在 2020 年左右，我們有嘗試過部署這個模型，但在轉換 ONNX 的過程中遇到諸多困難，主要是當時 ONNX 不支援 `grid_sample` 或 `affine_grid_generator` 這些操作。\n> \n> 後來我們就沒有再關心這個模型了，如果你有部署成功的經驗，歡迎分享給我們。\n","imageSizes":{"/content/papers/assets/6f098fa7285150b8a8250b316496ddf083cceac392a1f97105bfe2459be2f021.jpg":{"width":1068,"height":836},"/content/papers/assets/ede56fcdf7e421a6d8418d322e7a516326d84123169b83be8f9badb72fbb994e.jpg":{"width":1224,"height":496},"/content/papers/assets/4ae674d719ee694b7be155663c33106e945f85192c13554ea3934b6837d0aa3b.jpg":{"width":1024,"height":356},"/content/papers/assets/cbde9a73435bf47def4cb0b769ef274fd473e4331f855a6c2749e278d41f8b0e.jpg":{"width":984,"height":844},"/content/papers/assets/569f8ecff318cf131953743c5dafbfa9e916cf3c362e4ea278a8a6a7c1ca1881.jpg":{"width":924,"height":1080},"/content/papers/assets/09f345c585c7c6f579914381d9c138c799eac3890eceb855c3bfeb0839a54f91.jpg":{"width":940,"height":576},"/content/papers/assets/30698f2473804faed6c9827b08e3c5f8e88f296607f32fa57e61e3a10e9d1b05.jpg":{"width":1564,"height":770},"/content/papers/assets/c182bbfe6d5066ed81929df33e89d5573a0a422153b2412fbac5b97b9b43d7db.jpg":{"width":932,"height":1080}}}
