{"notes":[{"id":"text-recognition/seed","category":"text-recognition","legacyPath":"text-recognition/2005-seed","legacySlug":"2005-seed","legacyPaths":[],"title":"SEED","subtitle":"語言的種子","author":"Z. Yuan","paperDate":"2020-05-22","publishedOn":"2024-11-09","paperTitle":"SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition","paperUrl":"https://arxiv.org/abs/2005.10977","bibliography":{"title":"SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition","authors":["Zhi Qiao","Yu Zhou","Dongbao Yang","Yucan Zhou","Weiping Wang"],"url":"https://arxiv.org/abs/2005.10977","pdfUrl":"https://arxiv.org/pdf/2005.10977","codeUrl":null,"preprint":{"id":"2005.10977","submittedOn":"2020-05-22","url":"https://arxiv.org/abs/2005.10977"},"publication":{"venue":"CVPR","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2005.10977"},"citation":"@misc{textrecognitionseed2020,\n  title = {{SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition}},\n  author = {Zhi Qiao and Yu Zhou and Dongbao Yang and Yucan Zhou and Weiping Wang},\n  year = {2020},\n  eprint = {2005.10977},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2005.10977}\n}\n","citationPath":"/content/papers/citations/text-recognition/seed.e2689e3c957c.bib"},"thumbnail":{"src":"/content/papers/assets/8592487550270e392307478d6a0274ab54b2ab602f077b32b5bc63cfbeec32a0.jpg","width":964,"height":736},"locale":"zh-hant","path":"/content/papers/zh-hant/text-recognition/seed.dfb21e09dc63.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"模型架構","text":"模型架構","depth":3},{"id":"預訓練語言模型","text":"預訓練語言模型","depth":3},{"id":"損失函數","text":"損失函數","depth":3},{"id":"實作細節","text":"實作細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"與最新方法的比較","text":"與最新方法的比較","depth":3},{"id":"可視化結果","text":"可視化結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/abinet","relation":"comparison","topic":"把語言上下文帶進文字辨識"}]},{"id":"text-recognition/abinet","category":"text-recognition","legacyPath":"text-recognition/2103-abinet","legacySlug":"2103-abinet","legacyPaths":[],"title":"ABINet","subtitle":"要不再想想？","author":"Z. Yuan","paperDate":"2021-03-11","publishedOn":"2024-11-04","paperTitle":"Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition","paperUrl":"https://arxiv.org/abs/2103.06495","bibliography":{"title":"Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition","authors":["Shancheng Fang","Hongtao Xie","Yuxin Wang","Zhendong Mao","Yongdong Zhang"],"url":"https://arxiv.org/abs/2103.06495","pdfUrl":"https://arxiv.org/pdf/2103.06495","codeUrl":null,"preprint":{"id":"2103.06495","submittedOn":"2021-03-11","url":"https://arxiv.org/abs/2103.06495"},"publication":{"venue":"CVPR","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2103.06495"},"citation":"@misc{textrecognitionabinet2021,\n  title = {{Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition}},\n  author = {Shancheng Fang and Hongtao Xie and Yuxin Wang and Zhendong Mao and Yongdong Zhang},\n  year = {2021},\n  eprint = {2103.06495},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2103.06495}\n}\n","citationPath":"/content/papers/citations/text-recognition/abinet.73bc0bb60d4e.bib"},"thumbnail":{"src":"/content/papers/assets/dd3f71609a9aed29caa0b237880c58e2582197f57faa202b18ed16033f22d0b0.jpg","width":1706,"height":694},"locale":"zh-hant","path":"/content/papers/zh-hant/text-recognition/abinet.fa35d6972274.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"視覺模型","text":"視覺模型","depth":3},{"id":"語言模型","text":"語言模型","depth":3},{"id":"實作細節","text":"實作細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"與其他方法的比較","text":"與其他方法的比較","depth":3},{"id":"消融實驗-視覺模型","text":"消融實驗-視覺模型","depth":3},{"id":"消融實驗-語言模型","text":"消融實驗-語言模型","depth":3},{"id":"消融實驗-雙向策略","text":"消融實驗-雙向策略","depth":3},{"id":"可視化分析","text":"可視化分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/seed","relation":"comparison","topic":"把語言上下文帶進文字辨識"}]}],"text":"基於視覺特徵的模型，好像已經遇到了瓶頸。\n\n那有沒有機會可以融入更多的語言資訊呢？\n\n## 定義問題\n\n受到 NLP 的啟發，許多 STR 的研究開始使用注意力機制來解決問題。\n\n對於規則文本，使用基於卷積神經網路（CNN）及遞迴神經網路（RNN）的編碼器，並結合注意力機制的解碼器進行逐步字元預測；而對於不規則文本，則使用多方向編碼和 2D 注意力方法來處理。\n\n那麼...\n\n既然都已經抄了 NLP 的架構，那為什麼不再多抄一點呢？\n\n語言模型的「語言」，不就是個很好的線索嗎？\n\n本篇論文的作者透過引入額外「語意資訊」作為全局參考，以輔助解碼過程。算是在 STR 領域中，非常早期的探索多模態可行性的研究。\n\n## 解決問題\n\n### 模型架構\n\n\n\n![aster](/content/papers/assets/8592487550270e392307478d6a0274ab54b2ab602f077b32b5bc63cfbeec32a0.jpg)\n\n\n\n作者以 ASTER 為基礎，提出「增強語意的 ASTER (SE-ASTER)」方法，如上圖。\n\n- [**[18.06] ASTER: An Attentional Scene Text Recognizer with Flexible Rectification**](https://ieeexplore.ieee.org/document/8395027)\n\nSE-ASTER 包含四個模組：\n\n1. **校正模組**：用於校正不規則文字影像；\n2. **編碼器**：用來提取豐富的視覺特徵；\n3. **語意模組**：從視覺特徵中預測語意資訊；\n4. **解碼器**：輸出最終的辨識結果。\n\n首先，圖像輸入校正模組，以淺層 CNN 預測控制點，然後使用薄板樣條 (Thin-plate Splines, TPS) 對圖像進行校正。\n\n\n> [!TIP]\n> \n> TPS 校正的部分可以參考我們之前的文章：\n> \n> - [**[16.03] RARE: 全自動校正**](/blog/papers/text-recognition/rare)\n\n\n接著，校正後的圖像將輸入編碼器生成視覺特徵。\n\n編碼器包含一個 45 層的 ResNet CNN 和一個 256 隱藏單元的 BiLSTM 網路，輸出為特徵序列 $h = (h_1, \\dots, h_L)$，其形狀為 $L \\times C$，其中 $L$ 是 CNN 最後一層特徵圖的寬度，$C$ 為特徵維度。\n\n這個輸出特徵序列 $h$ 有兩個用途：\n\n- 其一：提供語意模組預測語意資訊\n- 其二：作為解碼器的輸入。\n\n為了預測語意資訊，作者將特徵序列展平成一維特徵向量 $I$，其維度為 $K$。\n\n語意資訊 $S$ 透過以下兩個線性函數計算；其中展平向量的維度 $K=L\\times C$：\n\n$$\nS = W_2\\sigma(W_1I + b_1) + b_2\n$$\n\n其中 $W_1, W_2, b_1, b_2$ 為可訓練的權重，$\\sigma$ 為 ReLU 激活函數，語意資訊會以預訓練的 FastText 模型提供的詞嵌入作為監督信號。\n\n\n> [!TIP]\n> \n> 作者有嘗試使用編碼器中 BiLSTM 的最終隱藏狀態 $h_L$ 來預測語意資訊，但效果較差。\n> \n> 推測原因可能是由於語意預測需要更大的特徵上下文，使用 BiLSTM 的輸出更為合適。\n\n\n### 預訓練語言模型\n\n語言模型的部分，作者選擇使用 FastText 作為預訓練語言模型（基於 skip-gram）。\n\n- [**[16.07] Enriching Word Vectors with Subword Information**](https://arxiv.org/abs/1607.04606)\n\n假設 $T = \\{w_{i-l}, \\dots, w_{i+l}\\}$ 為文字語料中以 $w_i$ 為中心的一段上下文，其中 $l$ 表示中心詞左右各取多少個詞。在 skip-gram 模型中，一個單字 $w_i$ 以一個嵌入向量 $v_i$ 表示，並被輸入至一個簡單的前饋神經網路，其目標是預測上下文：\n\n$$\nC_i = \\{w_{i-l}, \\dots, w_{i-1}, w_{i+1}, \\dots, w_{i+l}\\}\n$$\n\n在訓練過程中，該嵌入向量 $v_i$ 被同步優化，使得一個單字的最終嵌入向量接近於語意相似的單字。FastText 進一步嵌入子詞並使用這些子詞來生成單字 $w_i$ 的最終嵌入。\n\n舉例來說，若 $l_{\\text{min}} = 2$、$l_{\\text{max}} = 4$ 且單字為「where」，則其子詞集合為 $\\{$wh, he, er, re, whe, her, ere, wher, here$\\}$。該單字的表示即為所有子詞嵌入向量與該單字嵌入向量的組合。\n\n因此，FastText 模型能夠解決「詞彙外」(Out of Vocabulary) 問題。\n\n\n> [!TIP]\n> \n> 在 2020 年的時刻，為什麼不用 RoBERTa 或 BERT 呢？\n\n\n---\n\n訓練時，FastText 詞嵌入監督影像預測的語意資訊 $S$；推論時，$S$ 經線性變換後初始化解碼器 GRU 的隱藏狀態。這個步驟非常關鍵：消融實驗中，若只做詞嵌入監督，性能沒有明顯提升。\n\n### 損失函數\n\n訓練時，作者在語意模組與解碼器模組同時加入監督訊號，SE-ASTER 以端對端方式訓練。\n\n損失函數如下：\n\n$$\nL = L_{\\text{rec}} + \\lambda L_{\\text{sem}}\n$$\n\n其中，$L_{\\text{rec}}$ 為標準交叉熵損失 (cross-entropy loss)，衡量預測概率與真實標籤之間的差異。\n\n$L_{\\text{sem}}$ 為語意資訊的餘弦嵌入損失 (cosine embedding loss)：\n\n$$\nL_{\\text{sem}} = 1 - \\cos(S, \\text{em})\n$$\n\n其中，$S$ 為預測的語意資訊，$\\text{em}$ 為預訓練 FastText 模型的詞嵌入。目的比較預測的語意資訊與從預訓練 FastText 模型中取得的轉錄標籤詞嵌入之間的相似度。\n\n$\\lambda$為平衡損失的超參數，此處設定為 1。\n\n\n> [!TIP]\n> \n> 作者表示這裡只用簡單的餘弦損失函數而非對比損失是為了加快訓練速度。\n\n\n### 實作細節\n\n預訓練的 FastText 模型使用官方提供的模型，該模型以 Common Crawl 和 Wikipedia 數據集進行訓練。模型能辨識共 97 個符號，包括數字、大寫字母、小寫字母、32 個標點符號、序列結束符號、填充符號及未知符號。\n\n輸入影像的大小調整為 64 × 256，不保持比例。優化目標函數時採用 ADADELTA 演算法。\n\n辨識網路本身不另做預訓練或數據增強；模型在 SynthText 和 Synth90K 數據集上訓練 6 個 epoch，批量大小設定為 512，學習率初始設定為 1.0，並在第 4 個 epoch 衰減至 0.1，第 5 個 epoch 衰減至 0.01。FastText 則使用前述已預訓練模型。訓練使用一張 NVIDIA M40 顯卡。\n\n推論時，輸入影像的大小與訓練階段一致。在 GRU 解碼時使用 beam search，保留累積分數最高的 $k$ 個候選結果，在所有實驗中 $k$ 設定為 5。\n\n## 討論\n\n### 與最新方法的比較\n\n\n\n![table](/content/papers/assets/26ddc4950326fc1cadf0f5dfdc39577e48c700d5a966bcd4d9599a48481a8896.jpg)\n\n\n\n作者將所提出的方法與先前的最先進方法在多個基準數據集上進行比較，結果如上表。\n\n在不使用詞彙且僅有單詞級標註的情境下，SE-ASTER 在 6 個基準數據集中取得了 2 個最佳結果和 3 個次佳結果。與其他方法相比，所提出的方法在低品質數據集（如 IC15 和 SVTP）上表現出色。\n\n相較於表中原 ASTER 的報告值，SE-ASTER 在 IC15 上由 76.1% 提升至 80.0%（高 3.9 個百分點），在 SVTP 上由 78.5% 提升至 81.4%（高 2.9 個百分點）。若改比作者重新訓練的 ASTER 基線，兩者則分別高 1.6 和 2.3 個百分點。此外，即使 SE-ASTER 基於較弱的骨幹網路且不使用字元級標註，其在 SVTP 和 IC15 上也分別高於 ScRN 0.6 和 1.3 個百分點。\n\n### 可視化結果\n\n\n\n![visualization](/content/papers/assets/a555375e1d250b0cb305aa00a2ab0b71ee6291f3ae37fa83e4051bd051956bba.jpg)\n\n\n\n作者對一些低品質影像進行可視化，包括模糊或遮擋的情況，部分範例如上圖。\n\n在圖中的這些低品質影像範例，SE-ASTER 修正了 ASTER 的部分錯字；作者認為語意資訊能為解碼器提供全局特徵，減輕影像干擾的影響。\n\n\n> [!TIP]\n> \n> 上圖中的 SE-SAR 是把相同架構套用在 SAR 論文的架構上；論文表 4 中，SE-SAR 在 IC15、SVT 和 SVTP 優於 SAR，IC13 則由 91.0% 略降至 90.9%。這篇論文可以參考我們之前的文章：\n> \n> - [**[18.11] SAR: 二維注意力圖**](/blog/papers/text-recognition/sar)\n\n\n## 結論\n\n語言模型的引入，為 STR 領域帶來了新的思路，SE-ASTER 在多個基準數據集上取得了不錯的效果，對於低品質影像具有穩健性。\n\n在後續的 STR 研究中，語言模型的搭配成為一個主要趨勢，先不論使用語言模型可能帶來的副作用，就現況來說，仍然是一個新興且值得探討的方向。\n","imageSizes":{"/content/papers/assets/8592487550270e392307478d6a0274ab54b2ab602f077b32b5bc63cfbeec32a0.jpg":{"width":964,"height":736},"/content/papers/assets/26ddc4950326fc1cadf0f5dfdc39577e48c700d5a966bcd4d9599a48481a8896.jpg":{"width":1224,"height":888},"/content/papers/assets/a555375e1d250b0cb305aa00a2ab0b71ee6291f3ae37fa83e4051bd051956bba.jpg":{"width":992,"height":1072}}}
