ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting
- arXiv 首次提交
- arXiv:2105.03620
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{textspottingabcnetv22021,
title = {{ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting}},
author = {Yuliang Liu and Chunhua Shen and Lianwen Jin and Tong He and Peng Chen and Chongyu Liu and Hao Chen},
year = {2021},
eprint = {2105.03620},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2105.03620}
}
第一版論文投稿後,得到了一些審查意見。
作者對其進行部分修改和新增一些章節,為了與第一版區分,於是將這個版本稱為 ABCNet v2。
由於大部分的內容,甚至訓練方式都一樣,我們將在這裡只討論新增的部分。想要了解 ABCNet 的基本概念,可以參考我們之前讀過的文章:
定義問題
受到其他作品的啟發,作者決定升級 ABCNet。
主要參考目標為:
- [19.11] Efficientdet: Scalable and efficient object detection
- 這篇論文中提出 BiFPN,優化 FPN 的方法,作者將這個方法應用到 ABCNet 上。
- [18.07] An intriguing failing of convolutional neural networks and the coordconv solution
- 這篇論文提出 CoordConv,探討座標信息對於 CNN 的重要性。
- [20.03] Solov2: Dynamic and fast instance segmentation
- 這篇論文採用 CoordConv,應用在實例分割上,作者也將這個方法應用到 ABCNet 上。
改進後的 ABCNet v2 有以下幾個貢獻點:
- 提出了貝茲曲線文字表示方法。(這個跟第一版一樣。)
- 提出了 BezierAlign 特徵對齊方法。(這個跟第一版一樣。)
- 使用 BiFPN,雙向多尺度金字塔全局文本特徵。(新增的部分。)
- 提出自適應端到端訓練策略。(新增的部分。)
- 新增中文辨識數據集,支援中文辨識。(新增的部分。)
- 量化模型,提高推理速度。(新增的部分。)
解決問題
我們講講新增的部分。
模型架構
座標卷積模組
這個就是我們剛提到的 CoordConv,根據過去的研究,傳統卷積在對應 (x, y) 座標和像素空間座標時有其限制。
為解決此問題,作者在這個版本上,將各位置的絕對 、 座標作為兩個通道與 FPN 特徵圖拼接,形成帶有座標信息的新特徵 ,並通過三層卷積層(核大小 3,stride 為 1,padding 為 1)輸入後續網路,增強場景文字檢測效果。
基於注意力的辨識分支
辨識分支包含六層卷積層、一層雙向 LSTM 和一個注意力模組。辨識過程中,利用先前的隱藏狀態及加權和,逐步進行字元預測。英文任務的類別數為 96(不含結束符號,並非只有英文字母),中英雙語任務為 5462;注意力分數計算如下:
將分數沿序列位置做 softmax,得到 ;加權和為:
隱藏狀態更新:
自適應端到端訓練
原文是 Adaptive End-to-End Training,論文中簡稱為 AET。
在 ABCNet 第一版中,訓練階段僅使用真實標註的 Bezier 曲線對齊作為文字辨識分支的輸入,而測試階段則採用檢測結果進行特徵裁剪。
作者觀察到當檢測結果不如真實標註的 Bezier 曲線邊界精確時,可能會產生錯誤。
為了解決此問題,作者提出了一種簡單而有效的策略,稱為自適應端到端訓練(Adaptive End-to-End Training, AET),其主要流程如下:
-
檢測結果篩選:檢測結果首先通過信心門檻進行篩選,並使用非極大值抑制(NMS)消除冗餘的檢測結果。
-
辨識標註分配:根據控制點坐標的距離總和最小化,為每個檢測結果分配相應的辨識標註,公式如下:
其中, 表示控制點的真實標註, 是控制點的數量。這樣可以確保每個檢測結果與最接近的標註相匹配。
-
標註集更新:將新的目標與原始真實標註集進行拼接,並用於後續的辨識訓練。
模型量化
作者使用模型量化的技術,探討在不同精度下的模型表現和推論速度,這是目前文字偵測領域中比較少見的工作。
討論
消融實驗
為評估各元件的效果,作者在 Total-Text 和 SCUT-CTW1500 兩個數據集上進行消融研究。
根據上表,我們可以看到幾個主要的實驗結果:
- 注意力辨識模組:相對 CTC 基線,加入注意力辨識模組後,Total-Text 的端到端 Hmean 從 63.5% 升至 66.2%(增加 2.7 個百分點),SCUT-CTW1500 從 45.0% 升至 52.9%(增加 7.9 個百分點)。
- BiFPN 架構:在注意力辨識模組的基礎上,加入 BiFPN 分別再提升 1.9 與 1.6 個百分點,表列速度從 11 降至 10 FPS。
- 座標卷積 (CoordConv):同樣相對只加入注意力的設定,兩個數據集分別提升 2.8 與 2.9 個百分點,表列速度維持 11 FPS。
- 自適應端到端訓練 (AET):同樣相對只加入注意力的設定,兩個數據集分別提升 1.2 與 1.7 個百分點。
- Bezier 曲線階數:作者探討 Bezier 曲線階數設定對結果的影響,發現使用 4 階 Bezier 曲線重新生成標註,並訓練模型回歸控制點。在只加入注意力的相同條件下,Total-Text 從 66.2% 升至 67.0%,SCUT-CTW1500 從 52.9% 升至 54.4%。然而,在 Total-Text 使用 5 階曲線時,端到端 Hmean 相較於 66.2% 的基線下降至 65.5%。作者在這裡推測過高的階數可能導致控制點變動劇烈,增加回歸難度。
文字偵測方法比較
偵測任務的實驗在五個數據集上進行,包括兩個任意形狀數據集(Total-Text 和 SCUT-CTW1500)、兩個多方向數據集(MSRA-TD500 和 ICDAR 2015),以及一個雙語數據集 ReCTS。
依上表的 Hmean 欄位,ABCNet v2 在這五個數據集皆為表中最高;例如 Total-Text 為 87.0%、SCUT-CTW1500 為 84.7%、ReCTS 為 90.4%。
文字辨識方法比較
在端到端文字偵測與辨識任務中,ABCNet v2 在 SCUT-CTW1500 的無詞典/完整詞典分數為 57.5%/77.2%,多尺度為 58.4%/79.0%,均為表中最高。ICDAR 2015 的單尺度強/弱詞典分數 82.7%/78.5% 低於表中 Feng 等人的 87.3%/83.1%;多尺度的通用詞典分數 75.0% 則為表中最高。ReCTS 的 1-NED 為 62.7%(多尺度 65.4%),低於 Mask TextSpotter’19 的 67.8%。
量化模型效果
"A/W" 分別表示激活和權重的位寬配置,"†"表示採用漸進式訓練策略。
作者針對量化模型進行許多探討。
首先,在合成數據集上對低位元模型進行預訓練,接著在 TotalText 和 CTW1500 進行微調以提升性能。
預訓練階段進行 260K 次迭代,批次大小為 8,初始學習率設為 0.01,在 160K 和 220K 次迭代時減少至原來的十分之一。
在 TotalText 上微調時,批次大小保持 8,初始學習率設為 0.001,進行 5K 次迭代。CTW1500 的微調設置相同,但總迭代次數為 120K,並在 80K 時將學習率減少十倍。除了輸入和輸出層外,網路中的所有卷積層均進行量化。
實驗結果如上表,可以看到:
-
4 位元模型:其性能幾乎能與全精度模型相當。
- 在合成數據集上預訓練後,4 位元模型的端到端 Hmean 為 58.9%,高於全精度模型的 57.6%;原論文正文把這兩個數字的順序寫反,表格如上。
- 在 TotalText 和 CTW1500 微調後,4 位元模型的端到端 Hmean 分別為 66.5% 對 67.2% 與 52.2% 對 53.0%,低 0.7 與 0.8 個百分點。
在這個以 ResNet-18 為骨幹、主要量化卷積層的測試中,4 位元模型維持了接近全精度的分數;表列 FPS 以單張 2080 Ti 的 profiling 數據為準。
-
1 位元模型 (Binary Network, BNN):
未使用漸進式訓練時,預訓練後的端到端 Hmean 僅有 44.3%,性能有明顯下降。
為彌補這一點,作者提出漸進式訓練策略(以 † 標示),逐步降低量化位元數(如 4 位元 → 2 位元 → 1 位元),顯著提升 BNN 的性能。
經過新訓練策略後,BNN 在合成數據集上預訓練的端到端 Hmean 達到 55.8%,比同階段全精度版本的 57.6% 低 1.8 個百分點。
結論
這篇論文中測試了幾個新元件,包含注意力辨識模組、BiFPN 結構、座標卷積和新的自適應端到端訓練策略。
作者展示了許多訓練技巧和策略,我們認為這篇論文有很多值得學習的地方,在實務上都可以派上用場。