論文ノートライブラリに戻る
arXiv 2021ICCV 2021テキスト検出論文ノート

TextBPN

グラフ畳み込みの再考

原論文

Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection

論文の著者

Shi-Xue Zhang · Xiaobin Zhu · Chun Yang · Hongfa Wang · Xu-Cheng Yin

発表先
ICCV 2021国際会議
arXiv への初回投稿
arXiv:2107.12664
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textdetectiontextbpn2021,
  title = {{Adaptive Boundary Proposal Network for Arbitrary Shape Text Detection}},
  author = {Shi-Xue Zhang and Xiaobin Zhu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
  year = {2021},
  eprint = {2107.12664},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2107.12664}
}
このページの内容

この論文では、テキスト検出の問題を解決するためにいくつかの概念が導入されています。

最初の概念は LSTM で、文字の境界を捉えるシーケンシャルなデータを扱います。もう一つは GCN、つまりグラフ畳み込みネットワークで、文字境界の特徴を細かく調整するために使用されます。これらの概念については、詳しく説明すれば何日もかかりますが、読者の皆さんはすでにこれらの概念に馴染みがあると思います。

ですので、直接本題に入ります。

問題の定義

これまでにいくつかのテキスト検出手法を見てきましたが、ほとんどの方法は文字領域の重なりを解決するために、「文字コア」を最初に特定し、その後そのコアから外向きに拡張して文字境界を見つけるというアプローチを取っています。

これらの方法は大抵遅く、論文中でも「複雑で非効率的」と表現されています。

著者は境界候補を生成し、学習したモデルで輪郭を変形する手法を提案します。複雑な拡張やクラスタリングへの依存を減らしますが、候補の閾値処理、信頼度による除外、境界点のサンプリングは必要です。

問題の解決

モデルアーキテクチャ

このアーキテクチャは一見複雑に見えますが、いくつかの部分に分けて見ていきましょう。

Backbone + Neck

基本的な特徴マップの抽出は基本的な操作です。ここでの Backbone は ResNet-50 を使用し、Neck 部分では Concat 方式で特徴を融合しています。これは U-Net 風のアーキテクチャです。

最終的に Neck の出力は 32 チャンネルで、入力画像と同じサイズの特徴マップとなります。

境界提案生成

境界提案生成(Boundary Proposal Generation)は、複数の膨張畳み込みから構成され、2 層の3×33 \times 3畳み込み層(異なる膨張率)と 1 層の1×11 \times 1畳み込み層を含みます。

これらの畳み込み層は、バックボーンネットワークから抽出された共有特徴を使用して、3 種類の出力を生成します:分類マップ、距離場マップ、方向場マップ。

  1. 分類マップ: 他のテキスト検出方法と同様に、二項分類のマップであり、各ピクセルはテキストであるかどうかの分類信頼度を示します(二項分類:テキスト/非テキスト)。

  2. 方向場マップ:

    方向場 VV は 2 次元単位ベクトルで、文字ピクセル pp から最寄りの境界点 BpB_p へ向かう方向を示します。原論文の式 (1) の矢印は本文と図 5(a) と逆向きなので、ここでは本文と図に合わせて書きます。

    Vgt(p)={pBp→∥pBp→∥,p∈T(0,0),p∉TV_{gt}(p) = \begin{cases} \frac{\overrightarrow{p B_p}}{\|\overrightarrow{p B_p}\|}, & p \in T \\ (0, 0), & p \notin T \end{cases}

    ここで、∥pBp→∥\|\overrightarrow{p B_p}\|はppと最寄りの境界点BpB_pとの間の距離を示します。

  3. 距離場マップ:

    距離場マップDDは正規化された距離マップであり、テキストピクセルppから最寄りの境界ピクセルBpB_pへの正規化された距離を示します。その式は以下の通りです:

    Dgt(p)={∥pBp→∥L,p∈T0,p∉TD_{gt}(p) = \begin{cases} \frac{\|\overrightarrow{p B_p}\|}{L}, & p \in T \\ 0, & p \notin T \end{cases}

    LL はインスタンス TT 内の正規化前の距離の最大値です。原論文の式 (3) は正規化後の DgtD_{gt} の最大値と書いており、循環した定義になるため、ここでは正規化前の距離で表します:

    L=max⁡q∈T∥qBq→∥L = \max_{q\in T}\|\overrightarrow{q B_q}\|

距離場マップDDに基づいて、固定された閾値thdth_dを使用して候補境界提案を生成できますが、これらの提案には誤検出が含まれる可能性があります。そのため、分類マップを使用して各候補境界提案の平均信頼度を計算し、閾値thsth_sを使用して信頼度の低い提案を除去します。

これらの手順と式は、境界提案生成プロセスを構成し、テキスト領域を効果的に検出し、隣接するテキストインスタンス間の境界問題を処理することができます。

適応的境界変形

適応的境界変形(Adaptive Boundary Deformation)モデルのアイデアは、過去の研究論文に基づいています:

これらの論文の詳細については、後日別の記事で紹介しますが、ここでは既知の結論をそのまま使用します:

これらの方法により、モデルは各インスタンスの具体的な境界制御点を制御することができます。モデルは CNN 特徴を入力として使用し、各頂点のオフセット予測を行います。各境界提案は均等に N 個の制御点をサンプリングし、これらの制御点で閉じた多角形を形成し、トポロジーコンテキストとシーケンスコンテキストを考慮します。

各制御点cpi=[xi,yi]Tcp_i = [x_i, y_i]^Tに対して、特徴ベクトルfif_iが生成されます。

これらの特徴は、CNN のバックボーンネットワークから取得された 32 次元の共有特徴FsF_sと 4 次元の事前特徴FpF_p(ピクセル分類、距離場、方向場など)を組み合わせたものです。

具体的な式は次の通りです:

fi=concat{Fs(xi,yi),Fp(xi,yi)}f_i = \text{concat}\{F_s(x_i, y_i), F_p(x_i, y_i)\}

制御点の予測を得た後、次に境界提案を精緻化します。

ここでは GCN と RNN を導入して境界変形を行います。下の図のように:

エンコーダは GCN と RNN を組み合わせており、境界のトポロジーとシーケンスコンテキストを最大限に活用します。式は次の通りです:

X′=RNN(X)⊕GCN(X)⊕Conv1x1(X)X' = \text{RNN}(X) \oplus \text{GCN}(X) \oplus \text{Conv1x1}(X)

ここで、RNN は 隠れ状態の次元が 128 の B-LSTM から構成されています。

例えば、ここでの入力は:[バッチサイズ, 制御点シーケンス, 制御点特徴]となります。


GCN は ReLU を活性化関数として持つ 4 層のグラフ畳み込み層を含んでおり、グラフ畳み込み層の式は次の通りです:

Xg=ReLU((X⊕GX)W)X_g = \text{ReLU}((X \oplus GX)W)

ここで、G=D−1/2A~D−1/2G = D^{-1/2} \tilde{A} D^{-1/2}、A~=A+IN\tilde{A} = A + I_N、AAは局所グラフの隣接行列、INI_Nは単位行列、DD は A~\tilde A の次数行列です。前節の距離場マップとは別の記号です。

GCN 内の各制御点はその 4 つの隣接点と接続され、このようにして制御点間のコンテキスト関係を処理します。


上記の 2 つの分岐に加えて、1 つの1×11 \times 1畳み込み層が残差接続を形成し、3 つの分岐で特徴融合が行われます。

すべての特徴は結合(Concat)された後、デコーダに入力され、デコーダの出力は制御点のオフセットとなります。

より精度の高い文字境界を得るために、境界変形は複数回の反復処理を経て実行されます。これらの手順により、モデルは反復的に変形を行い、初期の境界提案を段階的に精緻化し、最終的に正確な文字検出を実現します。

訓練データセット

  • SynthText

    このデータセットは、モデルの事前訓練に使用されます。これは約 80 万枚の合成画像を含む大規模なデータセットです。これらの画像は、自然なシーンとランダムなフォント、サイズ、色、方向のテキストを組み合わせたもので、非常に高い現実感を持っています。

  • CTW1500

    CTW1500 は、長い曲線テキスト検出のための挑戦的なデータセットで、Yuliang らによって構築されました。このデータセットは、1000 枚の訓練画像と 500 枚のテスト画像を含んでいます。従来のテキストデータセット(ICDAR 2015、ICDAR 2017 MLT など)とは異なり、CTW1500 のテキストインスタンスは 14 点の多角形で注釈が付けられており、任意の曲線テキストの形状を記述できます。

  • Total-Text

    Total-Text は、新しく公開された曲線テキスト検出用のデータセットで、水平、多方向、曲線テキストインスタンスを含みます。このベンチマークデータセットには、1255 枚の訓練画像と 300 枚のテスト画像が含まれています。

  • MSRA-TD500

    これは、多言語、任意方向、長いテキスト行のデータセットです。300 枚の訓練画像と 200 枚のテスト画像を含み、テキスト行には行レベルの注釈が付けられています。訓練セットが小さいため、実験では HUST-TR400 データセットの画像が訓練データとして追加されています。

  • ICDAR 2017 MLT

    IC17-MLT は、大規模な多言語テキストデータセットで、7200 枚の訓練画像、1800 枚の検証画像、9000 枚のテスト画像を含んでいます。このデータセットは、9 つの言語からの完全なシーン画像で構成されています。

討論

アブレーション実験

適応的変形モデルの有効性を検証するために、著者は Total-Text および CTW-1500 データセットでいくつかのアブレーション実験を実施しました。このアブレーションは各実データセットで 660 epoch 学習し、SynthText での事前学習は行っていません。後述のベンチマーク表にある事前学習済みの行とは分けて見ます。

  1. 適応的変形モデルの有効性:

    比較対象には FC、Conv1x1、RNN、循環畳み込み、GCN と、それらを組み合わせた適応変形モデルが含まれます。

    上の表から、適応的変形モデルは両データセットで最良の F-measure を達成しています。Total-Text では RNN より 0.94 ポイント、CTW-1500 では GCN より 0.85 ポイント高く、速度はそれぞれ 10.56、12.08 FPS で、表中の RNN や GCN に近い値です。

  2. 制御点の数(N)の影響:

    著者は、検出性能に対する異なる制御点の数の影響を調べました。制御点の数は 12 から 32 の範囲で、間隔は 4 に設定されました。

    上の図からわかるように、制御点の数が多すぎるか少なすぎると、F-measure は低下します。特に制御点が少ないと、検出した境界がテキスト領域全体を正しくカバーできなくなり、性能が大幅に低下します。制御点数が約 20 の時、Total-Text および CTW-1500 データセットで最適な検出性能を達成しました。したがって、実験では制御点の数を 20 に固定しました。

  3. 反復回数の影響:

    著者は、異なる推論反復回数のモデル性能を比較しました。CTW-1500 では 1 回から 3 回に増やすと F-measure が 82.24% から 83.97% に上がり、速度は 13.68 から 12.08 FPS に下がりました。2 回目から 3 回目にも 0.64 ポイント改善しています。速度と性能のバランスを考慮し、実験では 3 回に設定しました。

  4. 先験情報の影響:

    著者は、Total-Text データセットでアブレーション実験を実施し、分類マップ、距離場、方向場の重要性を検証しました。分類マップのみでは F-measure は 79.87%。そこへ距離場を加えると 5.45 ポイント、さらに方向場を加えると 1.55 ポイント向上しました。

曲線テキスト実験結果

Total-Text 実験結果

CTW1500 実験結果


テスト時、画像の短辺は 640 にスケーリングし、長辺は 1024 ピクセル以内に制限しました。候補境界提案を取得するための距離場閾値thdth_dは 0.3 に固定されました。

Total-Text でテストする際の分類閾値thsth_sは 0.825 に設定しました。

上の表に基づくと、SynthText で事前訓練した TextBPN の F-measure は 87.37%、MLT17 で事前訓練すると 87.85% でした。後者は表中の先行手法で最も高い Boundary(87.0%)を 0.85 ポイント上回ります。ただし、手法ごとに追加の訓練データや FPS の条件は異なります。

CTW-1500 でテストする際、分類閾値thsth_sは 0.8 に設定しました。

MLT17 で事前訓練した TextBPN の適合率は 86.45%、F-measure は 85.0% でした。適合率 87.81% は SynthText 事前訓練の行で、その F-measure は 84.51% です。MLT17 版は表中の TextSnake(75.6%)と DB(83.4%)より、それぞれ 9.4、1.6 ポイント高い F-measure です。

MSRA-TD500 実験結果

MSRA-TD500 でテストする際、分類閾値thsth_sは 0.925 に設定しました。

MLT17 で事前訓練した TextBPN の F-measure は 85.57% で、表中の DB(84.9%)と DRRG(85.08%)を上回りました。SynthText 事前訓練版は 82.97% です。任意方向や長い文字行への対応を示す結果ですが、比較時には各行の事前訓練条件を分けて見る必要があります。

可視化結果

図中の青い線は初期境界提案、緑の線は反復変形後の最終境界です。(a)、(b) は Total-Text、(c)、(d) は CTW-1500 の例です。

結論

GCN および RNN を文字検出分野に導入することは、非常に新しい戦略であることがわかりました。

実験結果は、この方法が Total-Text、CTW-1500 などの挑戦的なデータセットで顕著な性能向上を達成したことを証明しており、特に不規則および曲線的なテキストの処理において優れたパフォーマンスを示しています。

今後の研究では、検出精度を維持しながら推論速度および応用の柔軟性をさらに向上させることができれば、より広範なシーンで実用性を発揮する可能性があります。