論文ノートライブラリに戻る
arXiv 2020CVPR 2020テキスト検出論文ノート

DRRG

グラフ畳み込みの初探

原論文

Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

論文の著者

Shi-Xue Zhang · Xiaobin Zhu · Jie-Bo Hou …

著者全 7 名を表示

Shi-Xue Zhang · Xiaobin Zhu · Jie-Bo Hou · Chang Liu · Chun Yang · Hongfa Wang · Xu-Cheng Yin

発表先
CVPR 2020国際会議
arXiv への初回投稿
arXiv:2003.07493
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textdetectiondrrg2020,
  title = {{Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection}},
  author = {Shi-Xue Zhang and Xiaobin Zhu and Jie-Bo Hou and Chang Liu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},
  year = {2020},
  eprint = {2003.07493},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2003.07493}
}
このページの内容

2020 年前後、グラフ畳み込みネットワーク(Graph Convolutional Network, GCN)が盛況を迎えました。

この時、Transformer が画像領域で広く使われる前、GCN は非常に良い選択肢でした。なぜなら、GCN は不規則なデータを処理でき、データ間の関係を捉えることができるからです。

ところが、グラフ畳み込みがコンピュータビジョンで流行り始めたところへ、Transformer が登場して注目をさらっていきました。まるで揺りかごのうちに勢いをそがれたようです。本論文では、文字の構成要素間の関係を明示的に表すために、あえてグラフを使います。

問題の定義

新しい道具があるのに、文字検出の問題に使う人がまだほとんどいない。これこそ最大の問題ではありませんか!

そこで著者は GCN を文字検出に使うことにしました。論文は、任意形状の文字検出で GCN による関係推論を行う初期の試みの一つだと位置づけています。

したがって、この記事の最も難しい部分は、グラフ畳み込みネットワークが何であるかを理解することです。この知識をすでに持っているなら、この論文はあまり難しくないでしょう。

解決問題

モデルアーキテクチャ

全体のモデルアーキテクチャは非常に多くのコンポーネントで構成されており、大まかにいくつかの部分に分けることができます:

  1. 特徴抽出器:VGG-16 をバックボーンネットワークとして使用し、FPN(Feature Pyramid Network)を加えています。
  2. 文字の構成要素定義:文字のインスタンスを順番に並べた、近似矩形の小さなセグメントに切り分けます。
  3. 文字の構成要素予測:畳み込み操作を使用して文字構成要素の予測結果を得ます。
  4. 損失関数計算:予測結果と真のラベルとの間で損失を計算します。
  5. グラフ畳み込みネットワーク:文字構成要素間の関係をグラフとして表現し、GCN を使用して推論します。

特徴抽出

まず、特徴抽出器が必要です。ここでは VGG-16 をバックボーンネットワークとして使用し、FPN(Feature Pyramid Network)を加えています。

論文ではこの多尺度特徴の融合を FPN と呼んでいます。図を見ると層間の特徴は、標準的な FPN に多い要素ごとの加算ではなく、連結(concatenate)で融合されています。そのため、融合方法には U-Net に似たところもあります。

文字の構成要素定義

この論文では、著者は完全な文字インスタンス(例えば、一行または単語の文字領域)を順番に並べた近似的な矩形の小さなセグメントに切り分けます。

これらの小さなセグメントを使うことで、予測時に文字の形状、サイズ、方向をより細かく記述でき、最終的にそれらのセグメントを再連結して完全な文字を形成します。

各文字構成要素 DD は以下の幾何学的属性のセットで表されます:

D=(x,y,h,w,cos⁡θ,sin⁡θ)D = (x, y, h, w, \cos\theta, \sin\theta)
  • x,yx, y:この構成要素の中心点座標。つまり文字構成要素が画像内で位置する場所。
  • h,wh, w:それぞれ構成要素の高さ(height)と幅(width)を表します。
  • cos⁡θ,sin⁡θ\cos\theta, \sin\theta:文字構成要素の方向角度(orientation)を表すために使用されます。

角度は数学的に周期性があるため、cos⁡θ\cos\theta と sin⁡θ\sin\theta を使用することで、直接角度を使う際の複雑さを避け、方向の滑らかな変化を保証します。

  • hh の定義:

    論文では、文字構成要素の高さ hh は、上半分 h1h_1 と下半分 h2h_2 を組み合わせて定義されています。

  • 幅 ww と高さ hh の関係:

    幅 ww は高さ hh に基づいて線形ルールで取得されます。

    実験では、最小幅 wmin⁡w_{\min} と最大幅 wmax⁡w_{\max} が設定されています。ルールは次のようになります:

    wi={wmin⁡,hi≤2⋅wmin⁡hi2,2⋅wmin⁡<hi<2⋅wmax⁡wmax⁡,hi≥2⋅wmax⁡w_i = \begin{cases} w_{\min}, & h_i \leq 2 \cdot w_{\min} \\ \frac{h_i}{2}, & 2 \cdot w_{\min} < h_i < 2 \cdot w_{\max} \\ w_{\max}, & h_i \geq 2 \cdot w_{\max} \end{cases}

    意味は以下の通りです:

    • 構成要素が非常に小さい場合(hih_i が小さい)、幅は最小値 wmin⁡w_{\min} に固定され、構成要素が狭すぎて識別が難しくなるのを避けます。
    • 構成要素の高さが中間範囲にある場合、幅は高さに比例します(w=h/2w = h/2)。これにより、構成要素の外観が合理的な比率を保つことができます。
    • 高さが非常に大きい場合、幅は最大値 wmax⁡w_{\max} に固定され、過度に広がるのを防ぎます。

    実験では、著者は wmin⁡=8w_{\min} = 8 と wmax⁡=24w_{\max} = 24 を設定しています。


文字の向きを明確に定義するため(例えば、斜めや水平)、および「文字中心領域(TCR)」を抽出しやすくするために、著者は TextSnake の方法を参照しています。

手順は次の通りです:

  1. 上辺と下辺の点の列を取得:

    文字領域をその長辺方向に沿って一連の四辺形に分割します(長い文字をいくつかの小さな区間に分けるようなもの)。これにより、次の二つの点のセットを取得します:

    • P1={tp0,tp1,...,tpn}P_1 = \{tp_0, tp_1, ..., tp_n\}:文字の上辺(top line)に対応する一連の点。
    • P2={bp0,bp1,...,bpn}P_2 = \{bp_0, bp_1, ..., bp_n\}:文字の下辺(bottom line)に対応する一連の点。

    ここで、tpitp_i と bpibp_i は、同一の垂直面下で対応する上辺および下辺の点として扱われます。

  2. どの線が上辺で、どの線が下辺かを決定:

    P1P_1 と P2P_2 を得た後、どの点のセットが文字の上辺で、どの点のセットが下辺であるかを判別する必要があります。

    ここで、次のようにベクトルのセット VV を定義します:

    V={tp0−bp0,tp1−bp1,…,tpn−bpn}V = \{ tp_0 - bp_0, tp_1 - bp_1, \ldots, tp_n - bp_n \}

    すなわち、上辺の各点から下辺の対応点を引いて得られる一連の垂直ベクトルです。その後、次を計算します:

    p=∑i=0nsin⁡(vi)p = \sum_{i=0}^{n} \sin(v_i)

    ここで vi=tpi−bpiv_i=tp_i-bp_i です。sin⁡(vi)\sin(v_i) はベクトルの方向角の正弦を略記したものです。上下の命名は画像座標の規約にも依存します。論文の規約では p≥0p\geq0 のとき P1P_1 が上辺、P2P_2 が下辺で、そうでなければ逆です。

    この判定方法はベクトルの方向を用いて上下の辺を決定し、文字領域の上下方向を特定して文字の傾き角度 θ\theta を推定します。

  3. 文字中心領域(TCR)の取得:

    文字の向きが確定した後、文字領域(Text Region, TR)を「縮小」して、より小さく正確な文字中心領域(TCR)を得ます。

    上記の図を拡大して見ると、これを行う方法は 3 つのステップに分けることができます:

    • 文字の中心線(center line)を計算します。これは上辺と下辺の中間に位置する線です。
    • 中心線の両端をそれぞれ 0.5w0.5w ピクセル縮め、隣接する文字インスタンスと過度に近づかないようにします。
    • 中心線を上下方向にそれぞれ 0.3h0.3h の距離だけ外向きに拡張し、わずかに厚みを持たせた中心帯状領域を作ります。これが TCR です。

    TCR の存在により、ネットワークは後の判断で実際の文字コアの位置に焦点を合わせやすくなり、隣接する文字インスタンス(例えば、別々の単語や文字行)の区別にも柔軟性が増します。

文字構成要素予測

著者が定義した文字構成要素については既に知っています。次に、Backbone と FPN を通過した特徴マップを使用して文字構成要素を予測します。以下の畳み込み操作を通じて CR を得ます:

CR=conv1×1(conv3×3(Fshare))CR = \text{conv}_{1\times1}(\text{conv}_{3\times3}(F_{\text{share}}))

これは、特徴マップに対してまず3×33\times3の畳み込みを行い、その後1×11\times1の畳み込みを適用することを意味します。

最終的なCRCRテンソルの次元は(h×w×8)(h \times w \times 8)となります。ここで、h×wh \times wは特徴マップの空間的サイズであり、最後の次元は 8 つのチャネルを持ち、それぞれ次のように対応します:

  • 4 チャネルは TR と TCR の分類 logit で、それぞれ softmax を通して文字領域と文字中心領域を予測します。
  • 残りの 4 チャネルは h1,h2,cos⁡θ,sin⁡θh_1, h_2, \cos\theta, \sin\theta の回帰出力です。

ここでの softmax は TR と TCR の二つの分類予測に使われます。TR と TCR は排他的な四つの意味クラスではありません。また、cos⁡θ\cos\theta と sin⁡θ\sin\theta を正規化し、cos⁡2θ+sin⁡2θ=1\cos^2\theta + \sin^2\theta = 1 を満たすようにします。

最後に、予測結果に対してしきい値(threshold)を設定し、局所領域で NMS(Non-Maximum Suppression)を行うことで、冗長な重複構成要素を除去し、よりクリーンで精度の高い文字構成要素の検出結果が得られます。

損失関数の計算

全体の検出損失 LdetL_{\text{det}} は 2 つの部分から成り立っています:

Ldet=Lcls+LregL_{\text{det}} = L_{\text{cls}} + L_{\text{reg}}
  • LclsL_{\text{cls}}: 分類損失(classification loss)、どのピクセルが文字領域(TCR/TR)または背景に属するかを決定するために使用されます。
  • LregL_{\text{reg}}: 回帰損失(regression loss)、文字の幾何学的属性(高さ、方向など)を正確に予測するために使用されます。

分類損失 LclsL_{\text{cls}} は交差エントロピー損失(cross-entropy loss)です。

論文では、文字関連領域を 2 つの範囲に分けています:

  • TR (Text Region):文字全体の領域で、文字の上下辺の間に位置する範囲。
  • TCR (Text Center Region):TR の中心を縮小/調整した「文字中心領域」で、文字のコア位置をより正確に特定し、干渉を避けるために使用されます。

定義は次の通りです:

Lcls=Ltr+λ1Ltcrp+λ2LtcrnL_{\text{cls}} = L_{\text{tr}} + \lambda_1 L_{\text{tcrp}} + \lambda_2 L_{\text{tcrn}}

ここには 3 つのサブ損失があります:

  1. LtrL_{\text{tr}}: 文字領域 TR に属するピクセルの分類誤差を計算します。

  2. LtcrpL_{\text{tcrp}}: TR 内のピクセルにのみ計算され、文字領域内で TCR(文字の中心領域)を正確に識別することを確保します。 言い換えれば、LtcrpL_{\text{tcrp}} は「文字と確定した」場所で、さらにそのピクセルを「文字中心領域」または「非中心の文字領域」と区別します。

  3. LtcrnL_{\text{tcrn}}: 「非 TR」範囲内のピクセルに計算され、背景領域で TCR が現れるノイズを抑制します。 簡単に言えば、背景(文字がない場所)で TCR を予測すると、この損失を大きくしてネットワークが背景で誤って TCR をラベル付けしないようにします。

トレーニングをより安定させるために、論文では OHEM(Online Hard Example Mining)法が使用されています。OHEM は困難な負のサンプル(文字領域に属さないピクセル)を選択して損失を計算し、簡単に判定できる負のサンプルがトレーニングに影響を与えるのを防ぎます。著者は負と正のサンプルの比率を 3:1 に設定しました。

実験では、ハイパーパラメータとしてλ1=1.0\lambda_1 = 1.0とλ2=0.5\lambda_2 = 0.5が設定されており、これはLtcrpL_{\text{tcrp}}とLtcrnL_{\text{tcrn}}が全体の分類損失においてどれだけの重みを持つかを示しています。


回帰損失は、モデルが文字の高さや方向などの属性を正確に推定できるようにするために使用されます。

しかし、TCR 内でのみ明確な高さや方向の情報(TCR は文字の中心に正確に位置し、文字の方向と高さのラベルを安定的に取得できる範囲)が得られるため、回帰損失は TCR 範囲内でのみ計算されます。

定義は次の通りです:

Lreg=Lh+β(Lsin⁡+Lcos⁡)L_{\text{reg}} = L_{h} + \beta(L_{\sin} + L_{\cos})

ここには 3 つの部分があります:

  1. LhL_h:高さ回帰損失

    予測された高さと実際の高さの差異を測定します。

    高さhhはh1h_1とh2h_2から構成され(前述の定義でh=h1+h2h = h_1 + h_2として知られています)、損失計算は次のようになります:

    Lh=1∣Ω∣∑i∈Ω(log⁡(h+1)∑k=02smoothL1(h^kihki−1))L_{h} = \frac{1}{|\Omega|} \sum_{i \in \Omega} \left( \log(h + 1) \sum_{k=0}^{2} \text{smoothL1}\left(\frac{\hat{h}_{ki}}{h_{ki}} - 1\right) \right)

    ここで:

    • Ω\Omega:TCR 内のすべての正サンプルの集合(ラベルのあるピクセル)。

    • hkih_{ki}:高さに関する教師値です。上式は原論文の k=0,1,2k=0,1,2 を残していますが、3 つの添字の対応は十分説明されていません。公開コードは上側・下側の高さ損失を加算し、対数の重みをコメントアウトしています。再現時は論文の式と実装を区別してください。


  1. Lsin⁡L_{\sin} と Lcos⁡L_{\cos}:方向回帰損失

    予測された文字の方向(sin⁡θ\sin \thetaとcos⁡θ\cos \thetaで表される)がどれだけ正確であるかを測定します:

    Lsin⁡=smoothL1(sin⁡θ^−sin⁡θ)L_{\sin} = \text{smoothL1}(\hat{\sin\theta} - \sin\theta) Lcos⁡=smoothL1(cos⁡θ^−cos⁡θ)L_{\cos} = \text{smoothL1}(\hat{\cos\theta} - \cos\theta)

    極端な誤差の影響を軽減するために smooth L1 損失を使用し、トレーニングをより安定させます。

  2. β\beta:バランス因子

    これは方向損失Lsin⁡L_{\sin}とLcos⁡L_{\cos}が全体のLregL_{\text{reg}}においてどれだけの重みを持つかを調整するために使用されます。論文ではβ=1.0\beta = 1.0に設定されています。

局所的なグラフの生成

著者はこの論文で文字検出の問題を解決するためにグラフ畳み込みネットワーク(GCN)を使用したいと考えており、そのためには文字構成要素間の関係をグラフとして表現する必要があります。

画像内で多くの文字構成要素が検出される可能性があるため、画像全体に巨大なグラフ構造を生成すること(すべてのノードを完全に接続すること)は非常に非効率です。

実際には、各文字構成要素は空間的に近くにある少数の要素とのみ関連があり、画像内のすべての要素との関係を構築する必要はありません。したがって、著者は各「ピボット点(pivot)」文字構成要素に対して、少数の隣接する要素のみを含む「局所的なグラフ」を構築することを選び、過度に複雑な全体グラフの処理を避けました。

局所的なグラフは、特定の文字構成要素(「ピボット」と呼ばれる)を中心に、その周囲の他の構成要素だけを考慮し、小さなグラフ構造を形成します。このようにして、グラフのサイズは非常に小さな範囲に制限され、後続の関係推論プロセスを加速させることができます。

局所的なグラフを作成するために、著者は過去の文献(下記)を参考にしており、検出された文字構成要素から 1 つの要素を「ピボット」として選び、その周囲で隣接ノードを探し、局所的なグラフ GpG_p を形成し、隣接ノードを「1-hop」および「2-hop」範囲に分けます:

  • 1-hop 隣接ノード:ピボットから始めて、距離(ある種の類似度測定に基づく)で最も近い 8 つの構成要素を第一階隣接ノードとして選びます(つまり、ピボットに最も近い要素)。
  • 2-hop 隣接ノード:8 個の 1-hop ノードのそれぞれについて近い 4 ノードを選び、局所グラフを作る際に重複を除きます。

重複を除く前の候補数は、ピボットを含めて最大 1+8+8×4=411+8+8\times4=41 です。画像全体の数百・数千の構成要素を完全接続する場合に比べ、グラフを小さくできます。

最後に、どの構成要素がピボットの最も近い隣接ノードであるかを決定するために、「類似度」や「距離」を測定する方法が必要です。

論文では、ユークリッド距離の相対的な比率を使用して類似度を定義しています:

Es=1−D(p,vi)max⁡(Hm,Wm)E_s = 1 - \frac{D(p, v_i)}{\max(H_m, W_m)}
  • D(p,vi)D(p, v_i) はピボット pp とノード viv_i の間の L2 ユークリッド距離(画像座標空間内の距離)。
  • HmH_m と WmW_m は画像全体の高さと幅です。

重複サンプルのフィルタリング

トレーニング中、同一の文字インスタンス内で選択された異なるピボットに対応する局所的なグラフがあまりにも似ている場合(例えば、同じ行の隣接する文字を選んだ場合、その結果、局所的なグラフのほとんどのノードが重複して現れる)、これはモデルが「簡単なサンプル」を繰り返し学習することになり、トレーニングの効率が低下します。

このため、著者はフィルタリング条件を提案しました:

Giou=∣Gp∩Gq∣∣Gp∪Gq∣<ξG_{\text{iou}} = \frac{|G_p \cap G_q|}{|G_p \cup G_q|} < \xi

ここで GpG_p と GqG_q は同一の文字インスタンス TT 内で異なるピボットから形成された 2 つの局所的なグラフであり、それらの 1-hop 隣接ノード集合を交差(∩\cap)および結合(∪\cup)して、2 つの局所的なグラフの「重なりの割合」を計算します。

重なりの割合 GiouG_{\text{iou}} が高すぎる場合(例えば 1 に近い場合、2 つの局所的なグラフがほぼ同じであることを意味する)、そのピボットは使用されません。これにより、「重複した、簡単な」サンプルを生成するのを避けます。

著者は実験でξ=0.75\xi = 0.75を設定しており、重なりの割合が 0.75 未満の場合にのみ使用します。これは局所グラフの重複を減らす仕組みです。

グラフ畳み込みネットワーク(GCN)

前述のステップで、著者は各画像に複数の「局所的なグラフ」を作成しました。各局所的なグラフは、「ピボットノード」とその 1-hop および 2-hop 隣接ノードを含んでいます。これらの局所的なグラフを使用して、ノード間の初歩的な接続情報を把握できますが、これらは粗い接続の推定にすぎません。

ノード間の実際の接続確率をより深く推論するため、特にピボットノードとその 1-hop 隣接ノード間の関係を判定するために、著者はここで「グラフ畳み込みネットワーク(Graph Convolutional Network, GCN)」モデルを導入します。

GCN を使用することで、グラフ構造内で隣接情報を層ごとに集約し、より高度な関係推論を行うことができます。

1 つのグラフ(Graph)は通常、g(X,A)g(X, A)として表されます:

  • XX:ノード特徴行列、各行が 1 つのノードの特徴ベクトルを表します。
  • AA:隣接行列、ノード間の接続関係を記述します。もし第iiノードと第jjノードがエッジで接続されていれば、Aij=1A_{ij} = 1、そうでなければ 0(または他の重み)となります。

ここでは、局所的なグラフGpG_p(ピボットppを中心とした局所的なグラフ)のためにノード特徴行列XXと隣接行列AAを構築し、それらをグラフ畳み込みネットワークに入力して関係推論を行います。

ノード特徴は 2 つの部分から構成されます:

  1. RROI 特徴(RROI features)
  2. 幾何学的特徴(geometric features)

RRoI-Align(RRoI は回転した RoI、つまり回転した文字の領域を考慮する RoI 基準)法を使用して、画像の特徴マップから各文字構成要素の特徴ブロックを抽出し、その特徴ベクトルをFrF_rと呼びます。

これらの特徴は主に画像の外観情報に由来しますが、文字領域内のテクスチャや形状を捉えることができますが、文字構成要素が画像全体でどこにあるのか、スケール、方向などの「幾何学的な属性(geometric features)」が欠けています。

そのため、ノード特徴をより包括的にするために、著者はここで Transformer の位置エンコーディングを直接採用し、文字構成要素の幾何学的情報を高次元空間に埋め込み(embedding)ます:

ε2i(z)=cos⁡(z10002i/Cε),i∈[0,Cε/2−1]\varepsilon_{2i}(z) = \cos\left(\frac{z}{1000^{2i/C_{\varepsilon}}}\right), \quad i \in [0, C_{\varepsilon}/2 - 1] ε2i+1(z)=sin⁡(z10002i/Cε),i∈[0,Cε/2−1]\varepsilon_{2i+1}(z) = \sin\left(\frac{z}{1000^{2i/C_{\varepsilon}}}\right), \quad i \in [0, C_{\varepsilon}/2 - 1]

1 つの文字構成要素には 6 つの幾何学的属性(例えばx,y,h,w,cos⁡θ,sin⁡θx, y, h, w, \cos\theta, \sin\theta)がありますが、これらの各属性は上記の埋め込み(embedding)を使用してCεC_{\varepsilon}次元に変換され、最終的に6⋅Cε6 \cdot C_{\varepsilon}次元の特徴ベクトルFgF_gが得られます。

最後に、FrF_r(RROI 特徴)とFgF_g(幾何学的特徴埋め込み)を連結し、ノード特徴 xq=[Fr;Fg]x_q=[F_r;F_g] を作ります。局所グラフに入力する前にピボットの特徴 xpx_p を引き、相対特徴 xq−xpx_q-x_p にします。


ノード特徴の準備が整った後、次は隣接行列AAを構築することです。

グラフの疎性と計算量を制御するため、著者は各ノードに対して最も近いuu個の隣接ノードを選び、各ノードが他のノードと過度に接続されないようにしています。もしノードnjn_jがノードnin_iの最も近いuu個の隣接ノードの 1 つであれば、Ap(ni,nj)=1A_p(n_i, n_j) = 1、そうでなければ 0 となります。実験ではuuは 3 に設定されています。

このようにして構築された隣接行列A∈RN×NA \in \mathbb{R}^{N \times N}は、局所的なグラフのトポロジー構造を定義します。


ノード特徴行列XXと隣接行列AAを得た後、著者はここで 1 層のバッチ正規化(Batch Normalization)と 4 層のグラフ畳み込み層を積み重ね、各層の後に ReLU 活性化関数を適用しました。モデルは softmax 交差エントロピー損失を使用して、1-hop ノードとピボットの接続予測を行います。

トレーニング段階では、バックプロパゲーションは 1-hop ノードの分類誤差のみに適用されます。実際に最も重要なのはピボットとその最も近い隣接ノードとの接続が成立しているかどうかを決定することです。2-hop ノードは補助情報として提供され、グラフ畳み込みがより広範な文脈的特徴を捉えるのを助けますが、2-hop ノードの接続について直接最適化は行われません。

テスト段階では、トレーニングされたモデルを使用して、ピボットと 1-hop ノードの接続結果を判断し、最終的な文字インスタンスを再構築します。再度、前述のグラフを確認しましょう:

文字ノードの特徴を GCN で処理し、softmax から文字構成要素とピボット間の接続確率を得ます。推論時には各構成要素を順にピボットとしてグラフを作り、BFS で接続された構成要素をまとめます。その後、Min-Path で中心点を並べ、上下の境界の中点をつないで、最終的な文字境界を作ります。

討論

アブレーション実験

モデル全体のアーキテクチャは非常に複雑であるため、まずはアブレーション実験に注目しましょう。

データの差異が実験結果に与える影響を減らすために、著者はまず SynthText を使用して事前学習を行い、その後、モデルを Total-Text と CTW1500 に微調整しました。MSRA-TD500 データセットについては、英語と中国語の文字が含まれているため、ICDAR2017-MLT で事前学習を行い、MSRA-TD500 で微調整を行いました。

上表の baseline は、文字領域と中心領域の交わりを使って構成要素をまとめる方式で、GCN が学習した接続関係は使いません。関係推論ネットワークを加えると、各データセットの Hmean(F-score)が向上しました:

  • Total-Text で Hmean は 1.83 パーセントポイント向上。
  • CTW1500 で Hmean は 0.78 パーセントポイント向上。
  • MSRA-TD500 で Hmean は 4.27 パーセントポイント向上。

この中では MSRA-TD500 の増分が最大で、長い文字行を含むこのデータセットで関係推論が役立ったことがわかります。一方、著者は CTW1500 での改善幅が小さい理由として、アノテーション上の問題を挙げています:

  • CTW1500 には「DO NOT CARE」のアノテーション基準がなく、非常に小さな文字や非英語文字がアノテーションされていないため、評価時に干渉が生じます。下の図の例のように。
  • このデータセットの文字行(text line)のアノテーションが時々非常に混乱しており、モデルの予測とアノテーションが整合しづらいです。

CTW1500 での増分は小さいものの、三つのデータセットでのアブレーション結果は、関係推論ネットワークが Hmean の改善に役立つことを示しています。

他の方法との比較

著者は ICDAR2017-MLT を事前学習データセットとして使用し、CTW1500 と Total-Text で微調整を行いました。

上表では、本論文の方法(DRRG)の Hmean は Total-Text で 85.73%、CTW1500 で 84.45% に達し、表に挙げられた他の方法を上回ります。TextSnake と比較すると、CTW1500 と Total-Text でそれぞれ 8.85、7.33 パーセントポイント高い結果です。

MSRA-TD500 では、DRRG の Hmean も 85.08%に達し、他の方法よりも優れています。

可視化結果

曲がった不規則な文字に対して、著者は実験で良い結果を得ています。

上図の上段は文字構成要素をまとめた結果、下段は生成された文字境界です。これらの例から、DRRG がさまざまな形状の文字を検出できることがわかります。

結論

この論文の革新は、文字構成要素間の関係をグラフ問題として構造化し、グラフ畳み込みネットワークを使用してノードとエッジの深い推論を行い、真の接続関係を確定することにあります。その後の後処理ステップで、これらの要素を効果的に統合し、完全な文字インスタンスを形成します。

次の TextBPN アーキテクチャでもグラフ畳み込みネットワークが登場し、グラフ畳み込みネットワークが文字検出タスクにおいて有効であることが証明されます。