論文ノートライブラリに戻る
arXiv 2018AAAI 2019文字認識論文ノート

SAR

二次元注意力マップ

原論文

Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition

論文の著者

Hui Li · Peng Wang · Chunhua Shen · Guyu Zhang

発表先
AAAI 2019国際会議
arXiv への初回投稿
arXiv:1811.00751
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textrecognitionsar2018,
  title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},
  author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},
  year = {2018},
  eprint = {1811.00751},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1811.00751}
}
このページの内容

大きな曲がりくねった文字は認識モデルに非常に大きな困難をもたらします。過去には、STN ネットワークを使用して幾何学的な補正を行う方法など、いくつかの解決策が試みられてきましたが、その効果には限界があります。

問題の定義

これまでの解決方法を振り返ると、不規則な文字認識の問題に対しては、大きく分けて 3 つのアプローチがあります:

  1. 補正アルゴリズムの使用:代表的な方法として RARE があり、STN ネットワークを使用して幾何学的補正を行いますが、文字の歪みがひどい場合は依然として処理が難しいです。

  2. 注意機構の使用:文字をデコードする際に、モデルが局所的な 2D 特徴を選択できるようにしますが、ここで引用する従来手法は訓練時に文字単位の教師情報を必要とし、訓練データの形態が制限されます。

  3. 多方向エンコーディング:この方法は、任意の方向の文字を 4 つの方向からエンコードしますが、アーキテクチャの設計が複雑です。


いろいろ見て回った結果、著者はシンプルな方法を好んでいます。

注意機構に基づくエンコーダ・デコーダのフレームワークに戻り、著者は ResNet と LSTM のアーキテクチャをベースにし、カスタマイズされた二次元注意モジュールを組み合わせて不規則な文字認識の問題を解決しています。

注意機構の訓練には単語単位の文字列ラベルだけを用い、追加の文字枠や画素単位の教師情報は必要としません。

解決問題

モデルアーキテクチャ

原論文 Figure 2;出典:arXiv:1811.00751v2
図:原論文の Figure 2。高さ方向にプーリングした系列をエンコーダに送り、デコーダは元の二次元特徴マップを参照します。

ResNet-31 で二次元特徴マップを抽出します。バックボーンには水平方向の情報を多く残す 1×21 \times 2 最大プーリング層もあります。高さ方向をプーリングした系列は LSTM エンコーダに送り、元の二次元特徴マップはデコーダの注意機構で参照できるように保持します。

エンコーダ

原論文 Figure 3;出典:arXiv:1811.00751v2
図:原論文の Figure 3。各列を系列の一要素とし、最後の状態が単語画像全体を表します。

特徴マップを得た後、最初に LSTM を使用して画像をエンコードします。

ご存知のように、LSTM は 1 次元のシーケンスデータを処理するために使用されます。そのため、ここでは特徴マップの「高さ」を最大プーリングして 1 次元のシーケンスデータに圧縮し、それを LSTM に入力します。

ここでの LSTM は 2 層で、各層には 512 個の隠れユニットがあります。図から見ると、これは単方向の LSTM です。

デコーダ

原論文 Figure 4;出典:arXiv:1811.00751v2
図:原論文の Figure 4。エンコーダの最終状態で開始し、開始記号と直前の文字を使って終了記号まで復号します。

デコーダ部分も LSTM です。

上図に示すように、ここが著者が提案した主要な貢献点です:もし「2D 畳み込み特徴マップ V」の部分を取り除けば、それは基本的な LSTM デコーダになります。

デコーダはまずエンコーダの最後の隠れ状態を受け取ります。各デコードステップでは、現在の状態を使って元の二次元畳み込み特徴マップへの注意重みを計算し、必要な局所特徴を選びます。

ここでの LSTM も 2 層で、各層に 512 個の隠れユニットがあります。エンコーダとデコーダのパラメータはそれぞれ独立しており、共有されていません。訓練時には Teacher Forcing の方法を使用し、推論時には前の時間ステップの予測結果を使用します。

2D 注意力マップ

原論文 Figure 5;出典:arXiv:1811.00751v2
図:原論文の Figure 5。3×33 \times 3 畳み込みで中心と周囲八点を扱い、デコーダ状態と組み合わせます。

従来の 2D 注意機構の不足を補うため、著者は新しい 2D 空間関係に基づく注意機構を提案しています:

各位置(i,j)(i, j)について、その注意重みを計算する際に、隣接位置の情報を考慮します。これらの隣接位置は位置(i,j)(i, j)の八方向近隣から取得されます。

注意スコアeije_{ij}は次の式で計算されます:

eij=tanh⁡(Wvvij+∑p,q∈NijW~p−i,q−j⋅vpq+Whht′)e_{ij} = \tanh(W_v v_{ij} + \sum_{p,q \in N_{ij}} \tilde{W}_{p-i, q-j} \cdot v_{pq} + W_h h'_t)

ここで:

  • vijv_{ij}は位置(i,j)(i, j)の局所特徴ベクトルです。
  • NijN_{ij}は位置(i,j)(i, j)の周囲の八方向近隣を表します。
  • ht′h'_tはデコーダ LSTM の時間ステップttにおける隠れ状態で、注意を導く信号として使用されます。
  • Wv,WhW_v, W_h、およびW~\tilde{W}は学習すべき線形変換行列です。

softmax 関数を用いて注意重みαij\alpha_{ij}を計算します:

αij=softmax(weT⋅eij)\alpha_{ij} = \text{softmax}(w_e^T \cdot e_{ij})

現在の時間ステップttにおける注意加重和(glimpse)gtg_tを計算します:

gt=∑i,jαijvij,i=1,…,H,j=1,…,Wg_t = \sum_{i,j} \alpha_{ij} v_{ij}, \quad i = 1, \ldots, H, \quad j = 1, \ldots, W

ここでHHとWWは特徴マップの高さと幅です。

従来の注意機構と比較して、ここでは八方向近隣の加重和項が追加され、近隣位置の影響を考慮しています。この改善により、モデルは局所特徴間の空間的関係を捉えることができます。

討論

他の方法との比較

原論文 Table 2;出典:arXiv:1811.00751v2

表:原論文の Table 2。語彙表の大きさごとに列が分かれ、以下は語彙表なしの列を比較します。

Table 2 の語彙表なしの列では、SAR は IC15、SVTP、CT80、COCO-T などの不規則な文字データセットで、論文発表時に競争力のある結果を報告しています。ただし、比較手法や訓練時の教師情報は同一ではありません。

  • SVTP-None では、SAR の 86.4% は Liu、Chen、Wong(2018)の 78.9% より 7.5 パーセントポイント高い値です。比較手法の星印は、追加の文字単位の教師情報を示します。
  • CT80-None では、SAR の 89.6% は Shi ら(2018)の 79.5% より 10.1 パーセントポイント高い値です。

IIIT5K、SVT、IC13 などの規則的な文字データセットでも競争力があります。語彙表なしではそれぞれ 95.0%、91.2%、94.0% で、SVT と IC13 は表中の最高値ではありません。IIIT5K と SVTP の語彙表なしの列では、SAR が表中最高の 95.0% と 86.4% です。

語彙表なしの評価は、候補の文字列を事前に渡せない認識場面に近い条件です。ただし、比較手法の訓練データと教師情報には差があり、この表だけで実運用時の認識品質は判断できません。

原論文の Table 3 は同一モデル内で注意機構を比較しています。SVTP では従来の二次元注意機構の 84.3% に対して近隣項を加えた場合は 86.4%、CT80 では 87.5%→89.6% です。この結果は論文の試験条件における近隣項の効果をより直接的に示します。

可視化の表示

原論文 Figure 7;出典:arXiv:1811.00751v2
図:原論文の Figure 7。選ばれた二例を示し、赤字は誤認識した文字です。

著者は、SAR の 2D 注意機構と従来の 2D 注意機構を比較しています。

デコードされた文字は対応する注意マップの左側に表示され、誤った文字は赤で示されています。この二例では SAR の位置合わせと認識が良好ですが、全体の効果は Table 2 と Table 3 の数値で判断する必要があります。

結論

SAR は、規則的な文字と不規則な文字の認識で高い性能を示しました。デコーダが二次元特徴マップを参照し、注意スコアに近隣の情報も加える設計は、Table 3 の同一モデル内の比較でも支持されています。今後は訓練の高速化や、さらに複雑な文字への対応を改善する余地があります。

その後の研究でも SAR は比較用のベースラインとして使われています。今後の筆記で、その研究も紹介していきます。