返回論文筆記資料庫
arXiv 2019AAAI 2020文字偵測論文筆記

DBNet

可微分二值化函數

原始論文

Real-time Scene Text Detection with Differentiable Binarization

論文作者

Minghui Liao · Zhaoyi Wan · Cong Yao · Kai Chen · Xiang Bai

發表版本
AAAI 2020會議
arXiv 首次提交
arXiv:1911.08947
引用此論文 · BibTeX

引用資料對應所連結的論文版本,作者為原論文作者。

@misc{textdetectiondbnet2019,
  title = {{Real-time Scene Text Detection with Differentiable Binarization}},
  author = {Minghui Liao and Zhaoyi Wan and Cong Yao and Kai Chen and Xiang Bai},
  year = {2019},
  eprint = {1911.08947},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1911.08947}
}
本頁內容

幾篇論文看下來,我們大概也知道了在文字偵測領域,主流模型是基於分割的方法來完成。

分割,其實說穿了就是直接預測文字區域的像素值,這樣的方法有個天生的缺點:

  • 無法解決重疊文字的問題。

在基於分割的影像分類的情況下,常見的做法是給予每個類別一個獨立的通道,這樣可以解決不同類別間的重疊問題。但文字都是同樣的類別,A 區域的文字和 B 區域的文字都是文字,我們無法透過切分通道的方法來解決,解決重疊文字的問題。

真要說,也不是不行,那就是我們直接給定輸出 1000 通道,讓模型自行決定要讓哪一個文字區域落在哪一個通道上,這樣就可以解決重疊文字的問題了。

但一個通道只用來表示一個文字區域,難道不覺得太浪費了嗎?基於分割的輸出都是高解析度的影像,這麼多通道能不能順利地跑訓練都是個問題。而且話又說回來,我們怎麼知道該給多少通道呢?

基於對運算資源的浪費,這條路顯然是行不通的。

定義問題

一些主流的研究,對於這種問題的解決方法是:先找出文字核心,再來想辦法,如同上圖中的「藍線」的流程。

像是 PSENet,它先找出文字核心,再向外搜索擴展成文字區域;或是 PAN,它先找出文字核心,再用聚類聚合區域像素;又或是 TextSnake,它先找出文字核心,再用角度方向預測文字區域。

而這篇論文的作者認為,這樣的方法有個共同的缺點:太慢了!

或許我們該讓模型自己學會把不同的文字實例「切」開來,而不是搭配一個複雜的後處理。

解決問題

模型架構

架構本身不是本篇論文的重點,就我們看來,這個架構也沒有什麼特別的地方。

如上圖,根據我們的標註,紅色框起來的部分是 Backbone,在論文中用的是 ResNet-18 和 ResNet-50;綠色框起來的部分是 FPN,用來提取不同尺度的特徵。

這裡取得多尺度的特徵圖之後,將所有特徵圖放大到相同的尺度,然後使用 Concat 操作將這些特徵圖串接在一起,用於最後預測頭的輸入。


預測頭的部分分成兩個部分:

第一個部分用來做文字區域的像素級預測,其他文獻的做法也都也這一個分支。

第二個部分是本篇論文的重點:閾值圖的預測。

閾值圖,在論文中稱為 Threshold Map,提供每個像素自適應的二值化閾值。訓練時,它與文字區域的機率圖一起輸入可微分二值化函數,產生近似二值圖,幫助分開相鄰文字;推論時可只用機率圖產生結果,省去閾值分支。


這個部分的操作在論文中可能沒有寫得這麼清楚,我們看一下程式實作:MhLiao/DB

首先是文字區域的預測分支:

python
self.binarize = nn.Sequential(
    nn.Conv2d(inner_channels, inner_channels //
                4, 3, padding=1, bias=bias),
    BatchNorm2d(inner_channels//4),
    nn.ReLU(inplace=True),
    nn.ConvTranspose2d(inner_channels//4, inner_channels//4, 2, 2),
    BatchNorm2d(inner_channels//4),
    nn.ReLU(inplace=True),
    nn.ConvTranspose2d(inner_channels//4, 1, 2, 2),
    nn.Sigmoid())

看起來是輸入 FPN 的特徵圖,經過一系列的卷積、反卷積操作,最後用 Sigmoid 輸出 0~1 之間的值,這個值代表了文字區域的概率。

再來是閾值圖的預測分支:

python
self.thresh = nn.Sequential(
    nn.Conv2d(in_channels, inner_channels //
                4, 3, padding=1, bias=bias),
    BatchNorm2d(inner_channels//4),
    nn.ReLU(inplace=True),
    self._init_upsample(inner_channels // 4, inner_channels//4, smooth=smooth, bias=bias),
    BatchNorm2d(inner_channels//4),
    nn.ReLU(inplace=True),
    self._init_upsample(inner_channels // 4, 1, smooth=smooth, bias=bias),
    nn.Sigmoid())

這裡也是輸入 FPN 的特徵圖,經過一系列的卷積、上採樣的操作,最後用 Sigmoid 輸出 0~1 之間的值,這個值代表每個像素的自適應閾值。

訓練時將文字區域的機率圖減去閾值圖,再經過可微分函數得到近似二值圖:

python
def forward(self, features, gt=None, masks=None, training=False):

    # ...省略 FPN 特徵融合程式碼...

    # 計算文字區域圖
    binary = self.binarize(fuse)


    if self.training:
        result = OrderedDict(binary=binary)
    else:

        # 如果是推論模式,直接用文字區域圖回傳
        return binary

    # 如果是訓練模式
    if self.adaptive and self.training:
        if self.serial:
            fuse = torch.cat(
                    (fuse, nn.functional.interpolate(
                        binary, fuse.shape[2:])), 1)

        # 計算閾值圖
        thresh = self.thresh(fuse)

        # 計算近似二值圖
        thresh_binary = self.step_function(binary, thresh)

        # 加上閾值圖與近似二值圖,供訓練監督
        result.update(thresh=thresh, thresh_binary=thresh_binary)

    return result

# 二值化函數
def step_function(self, x, y):
    return torch.reciprocal(1 + torch.exp(-self.k * (x - y)))

看到這邊,終於發現本篇論文的標題為何是「可微分二值化網路」了!

上面程式中的 step_function 就是本論文提到的二值化函數,輸入分別是文字區域圖和閾值圖,把兩者相減後,輸出接近 0 或 1、但仍連續可微的近似二值圖。

你會覺得非常眼熟:

這個 torch.reciprocal(1 + torch.exp(-self.k * (x - y))) ......

嘿!這不就是 Sigmoid 函數嗎!

差別在於,這裡的 Sigmoid 函數多了一個參數 kk,這個參數控制函數的陡峭程度;每個像素的閾值由閾值圖提供。論文將 kk 設為 50。

所以其實這個函數現在變成這樣:

σ(x)=11+e−50(x−y)\sigma(x) = \frac{1}{1 + e^{-50(x - y)}}

如果你自己帶入數值進去算算看,當前面係數設定為 50 的時候,這個函數的圖形會變成一個非常陡峭的階梯函數,「幾乎」就是二值化函數,差別在於這個函數是可微分的。

標籤生成

這個部分的算法來自 PSENet 的啟發:

給定一張文本圖像,每個文本區域的多邊形可由一組線段描述:

G={Sk}k=1nG = \{S_k\}_{k=1}^{n}

其中 nn 為頂點數,不同的數據集可能有不同的頂點數,例如 ICDAR 2015 數據集為 4 個頂點;DBNet 原論文此處寫 CTW1500 為 16 個頂點,但 CTW1500 原始論文的標註規格是 14 個頂點。

接著,正樣本區域透過使用 Vatti 裁剪算法將多邊形 GG 收縮為 GsG_s 來生成。

收縮的偏移量 DD 由原始多邊形的周長 LL 和面積 AA 計算得到:

D=A(1−r2)LD = \frac{A(1 - r^2)}{L}

其中 rr 為收縮比例,經驗上設定為 0.4。


使用類似的過程,用來生成閾值圖的標籤。

首先,將文本多邊形 GG 以相同的偏移量 DD 擴張為 GdG_d。接著,考慮 GsG_s 和 GdG_d 之間的區域作為文本邊界,在此區域中,閾值圖的標籤可以通過計算到 GG 中最近線段的距離來生成。

損失函數

損失函數 LL 可以表示為機率圖損失 LsL_s、二值圖損失 LbL_b 和閾值圖損失 LtL_t 的加權總和:

L=Ls+α×Lb+β×LtL = L_s + \alpha \times L_b + \beta \times L_t

其中 LsL_s 是機率圖的損失,LbL_b 是二值圖的損失。根據數值,α\alpha 和 ββ 分別設為 1.0 和 10。

論文對機率圖損失 LsL_s 和近似二值圖損失 LbL_b 使用相同形式的二元交叉熵(BCE)損失。為了解決正負樣本數不平衡的問題,在 BCE 損失中使用了困難負樣本挖掘,通過採樣困難負樣本來平衡正負樣本比例。

具體損失計算公式如下:

LBCE=−∑i∈Sl[yilog⁡xi+(1−yi)log⁡(1−xi)]L_{\mathrm{BCE}} = -\sum_{i \in S_l} \left[ y_i \log x_i + (1 - y_i) \log (1 - x_i) \right]

其中 SlS_l 是經過採樣的集合,正負樣本比例為 1:3;上式補上 BCE 應有的負號,原論文式 (8) 漏寫此符號。作者公開的損失函數實作則對機率圖使用 BCE、對近似二值圖使用 Dice Loss。


閾值圖損失 LtL_t 是預測值與標籤在擴張文本多邊形 GdG_d 內的 L1L_1 距離的總和:

Lt=∑i∈Rd∣yi∗−xi∗∣L_t = \sum_{i \in R_d} | y_i^* - x_i^* |

其中 RdR_d 是擴張多邊形 GdG_d 內像素的索引集合,yi∗y_i^* 是閾值圖的標籤。


在推論階段,作者為了提高效率,使用機率圖生成邊界框,這樣可以省略閾值分支。

邊界框生成過程包括三個步驟:

  1. 將機率圖或近似二值圖以固定閾值 0.2 進行二值化,得到二值圖

  2. 從二值圖中獲取連通區域(收縮的文本區域)

  3. 使用 Vatti 裁剪算法擴張這些收縮區域,偏移量 D0D_0 的計算公式如下:

    D0=A0×r0L0D_0 = \frac{A_0 \times r_0}{L_0}

    其中 A0A_0 是收縮多邊形的面積,L0L_0 是收縮多邊形的周長,r0r_0 經驗上設為 1.5。

訓練資料集

  • SynthText

    該資料集用於對模型進行預訓練。這是一個大規模數據集,包含約 80 萬張合成圖像。這些圖像由自然場景與隨機字體、大小、顏色和方向的文字混合而成,具有很高的現實感。

  • CTW1500

    CTW1500 是一個針對長曲線文字檢測的挑戰性資料集,由 Yuliang 等人建構。該資料集包含 1000 張訓練圖片和 500 張測試圖片。不同於傳統文字資料集(如 ICDAR 2015、ICDAR 2017 MLT),CTW1500 的文字實例是由 14 個點的多邊形標註,可以描述任意曲線文字的形狀。

  • Total-Text

    Total-Text 是一個新發佈的曲線文字檢測資料集,包含水平、多方向及曲線文字實例。該基準資料集包括 1255 張訓練圖片和 300 張測試圖片。

  • ICDAR 2015

    ICDAR 2015 是文字檢測中常用的資料集,包含 1500 張圖片,其中 1000 張用於訓練,剩下的用於測試。文字區域由四個頂點的四邊形標註。

  • MSRA-TD500

    這是一個多語言、任意方向和長文字行的數據集。包含 300 張訓練圖像和 200 張測試圖像,文字行標註為行級標註。由於訓練集較小,實驗中加入了 HUST-TR400 數據集的圖像作為訓練數據。

  • ICDAR 2017 MLT

    IC17-MLT 是一個大規模的多語言文字資料集,包括 7200 張訓練圖片、1800 張驗證圖片和 9000 張測試圖片。該資料集由來自 9 種語言的完整場景圖像組成。

討論

消融實驗

根據上表,使用可微分二值化技術顯著提升了兩個數據集(MSRA-TD500 和 CTW1500)上的性能。在不使用可變形卷積的 ResNet-18 設定下,DB 在 MSRA-TD500 和 CTW1500 上的 F 值分別提升了 3.7 和 4.9 個百分點,且推論時移除閾值分支後,表中的 FPS 不變。

相較於相同骨幹且未使用 DB 的設定,可變形卷積帶來 1.5 到 5.0 個百分點的 F 值提升,因為它為骨幹網路提供了靈活的感受野,且只需少量額外時間。在 CTW1500 上,未使用 DB 時 ResNet-18 和 ResNet-50 的 F 值分別提升了 3.6 和 4.9 個百分點。


儘管有無監督的閾值圖在外觀上相似,但加上監督後可以提升性能。上表顯示,閾值圖的監督在 MLT-2017 數據集上,對 ResNet-18 提升了 0.7 個百分點,對 ResNet-50 提升了 2.6 個百分點。

在骨幹網路的比較中,使用 ResNet-50 的檢測器性能優於 ResNet-18,但運行速度較慢。

曲線文字實驗結果

Total-Text 實驗結果

CTW1500 實驗結果


根據上表,DB 在準確率和速度上都達到了最新的領先水準。

本文方法在 Total-Text 和 CTW1500 兩個彎曲文本基準上證明了其形狀穩健性。

DB-ResNet-50 在 Total-Text 和 CTW1500 上的 F 值,分別比表中此前最佳方法高出 1.1 和 1.2 個百分點。此外,DB-ResNet-50 的 FPS 高於表中有提供速度數據的對比方法,且透過使用 ResNet-18 骨幹可以進一步提升速度,僅帶來少量的性能下降。

ICDAR 2015 實驗結果

ICDAR 2015 實驗結果


ICDAR 2015 數據集是一個包含大量小尺寸和低解析度文本實例的多方向文本數據集。

根據上表,DB-ResNet-50 (1152) 在準確性上達到了最新的最佳性能。與表中此前最快的 EAST 相比,DB-ResNet-50 (736) 的 F 值高出 7.2 個百分點,速度約為兩倍。

使用 ResNet-18 作為骨幹時,DB-ResNet-18 (736) 能以 48 FPS 運行,F 值達到 82.3%。

可視化結果

上圖每組影像右側,上方是預測的閾值圖,下方是機率圖;綠色輪廓是經後處理得到的檢測結果。

結論

DB 提出了一種新的可微分二值化技術,該技術可以在不需要後處理的情況下,直接從機率圖中生成二值圖。這種技術可以提高文字檢測的性能,並且在多個基準數據集上取得了最新的最佳性能。

在實務上,DB 算是很常被用來部署的模型,最主要的原因是因為它的速度快。還有就是架構簡單,好訓練!在各大 OCR 架構上都可以看到相關實作,例如 PaddleOCR、MMOCR 等,都可以看到 DB 的身影。

如同我們剛才所看到的,通篇文章最困難的地方就在於二值化函數的實現。(恩?)

最後,這個架構只是緩解了重疊文字的問題,讓可以切分的文字區域更加明顯,但本質上依然沒有解決重疊文字的問題,且讓我們繼續期待後續的研究。